粒子法による大規模津波解析と鉄道を対象とした …csed.sakura.ne.jp/wp-content/uploads/2017/10/433af...(Sandy Bridge) 345 16 (2 cpus / node) 1,476 XC30 RTRI (鉄道総研)

粒子法による大規模津波解析と鉄道を対象とした解析への

取り組み

鉄道総合技術研究所鉄道力学研究部計算力学研究室

室谷浩平

日本原子力学会 2017年秋の大会計算科学技術部会企画セッション2017年9月13日

1

粒子法の得意なこと苦手なこと

得意なこと① 大きな変形や不連続面（自由表面など）に対して特別な処理が不要

② 移動するもの同士の接触の扱いが容易

メッシュが苦手とする処理が得意

苦手なこと① 近傍粒子探索に時間がかかるため、同程度計算規模の格子法に比

べて10倍程度の計算時間が必要

② 解析領域に粗密をつけることが難しいため、体積に比例した粒子数が必要

粒子法は、大規模計算による恩恵が、格子法よりも大きい

MPS（Moving Particle Simulation）法の支配方程式

0Dt

D

guPDt

uD

1

連続の式

2

soundcP

運動方程式

微圧縮性を仮定非圧縮条件

半陰解法陽解法

csound ：音速

ρ ：密度

3

流体粒子

固定壁初期化

重力･粘性による力の計算

圧力計算

速度･位置更新

速度･位置修正

終了判定

終了

圧力勾配による力の計算

MPS法のアルゴリズム

初期化


圧力計算



終了判定

終了


→は速度

gutuu kk 2


流体粒子

固定壁

初期化


圧力計算



終了判定

終了


utrr k


色は圧力

初期化


圧力計算



終了判定

終了


半陰解法

陽解法0

02

sound

1

n

nncPk


0

0

2

12

n

nn

tu

tP

kk

初期化


圧力計算



終了判定

終了


11

kk Pt

uu


初期化


圧力計算



終了判定

終了


12

1

kk Pt

rr


Machinename

Site ProcessorGFLOPS /

NodeCore/Node Nodes

K computer RIKENFujitsu

SPARC64 VIIIfx128 8 88,128

FX100 Nagoya Univ.Fujitsu

SPARC64 XIfx1,126 32 2,880

FX10Univ. of Tokyo

Fujitsu SPARC64 IXfx

236 16 4,800

CX400 Kyushu Univ.Intel Xeon E5-2680

(Sandy Bridge) 345

16(2 cpus / node)

1,476

XC30RTRI

(鉄道総研)Intel Xeon E5-2695 v2

(Ivy Bridge)460

24(2 cpus / node)

224

本研究で用いられたHPCシステム

10

領域分割と通信方法

粒子をバケットに格納

ParMETISによるバケットベースの領域分割

Halo exchange

Halo exchange

Halo exchange

PE 0 PE 1

PE 2 PE 311

ParMETIS：グラフの重み均等、辺のカットを最小

粒子数を均等、通信量を最小

4,000

4,500

5,000

5,500

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

Number of

particles

Time

PE0 PE1 PE2 PE3

動的負荷分散

9,136 粒子

4ノード

0.1976 sec 0.1984 sec

1つの計算ノードの粒子数が，5,500になったら，領域再分割を行う．

12

動的負荷分散

色は各計算ノードのランク番号に対応

13

MPS陽解法の通信箇所

初期化


圧力計算



終了判定

終了


gutuu

k

i

k

ii

2*

**

i

k

ii utrr

1'

k

ii Pt

u

'

'

*1

*1

ii

k

i

ii

k

i

utrr

uuu

圧力を粒子数密度差から陽的に求める

0

0*2

n

nncP i

i

c 音速 [m/s]

n* 粒子数密度

n0 粒子数密度の基準値

0

0*2

n

nncP

2

d

dc

P

Halo exchange

Halo exchange

Halo exchange

密度：

位置：

速度：

圧力：

動粘性係数：

重力加速度：

粒子数密度：

粒子数密度の基準値：

P

u

v

g

r

*n0n

14

MPS半陰解法の通信箇所

0

0

2

*12

n

nn

tu

tP

k

i

i

k

i

圧力のポアソン方程式

初期化


圧力計算



終了判定

終了


Halo exchange

Parallel BiCGStab

Halo exchange

Halo exchange

密度：

位置：

速度：

圧力：

動粘性係数：

重力加速度：

粒子数密度：

粒子数密度の基準値：

P

u

v

g

r

*n0n

gutuu

k

i

k

ii

2*

**

i

k

ii utrr

'

'

*1

*1

ii

k

i

ii

k

i

utrr

uuu

1'

k

ii Pt

u

15

Strong scaling of 10 billion particles by K computer

25.64

13.51

6.97

3.43

1.76

0.90

0.60 0.45

1.00

0.95

0.92 0.93

0.91 0.89 0.89 0.88

0.60

0.70

0.80

0.90

1.00

0.1

1

10

100

768 1,536 3,072 6,144 12,288 24,576 49,152

10B

系列1

The number of nodes

Wall-clock time (s)

36,864

Wall-clock time

Parallel efficiency

Parallel efficiency

16

MPS陽解法の妥当性確認

118cm

12cm

12cm

圧力測定箇所直径0.8cm

68cm

1cm

Hu C, Kashiwagi M.: A CIP-based method for numerical simulations of

violent free-surface flows, Journal of Marine Science and Technology,

Vol. 9, pp. 143-157, 2004

MPS陽解法によるダムブレイク実験の体系（後ろ半分のみ可視化）

17

MPS陽解法の妥当性確認

Hu C, Kashiwagi M.: A CIP-based method for

numerical simulations of violent free-surface

flows, Journal of Marine Science and

Technology, Vol. 9, pp. 143-157, 2004測定値とMPS陽解法の比較

18

測定値測定平均値MPS陽解法 (l0=0.5mm)

MPS陽解法 (l0=1mm)

MPS陽解法 (l0=2mm)

MPS法の妥当性確認

118cm

12cm

12cm

圧力測定箇所直径0.8cm

68cm

1cm

Hu C, Kashiwagi M.: A CIP-based method for numerical simulations of

violent free-surface flows, Journal of Marine Science and Technology,

Vol. 9, pp. 143-157, 2004

MPS法によるダムブレイク実験の体系（後ろ半分のみ可視化）

19


測定値とMPS法の比較




Technology, Vol. 9, pp. 143-157, 2004

20

測定値測定平均値MPS法 (l0=0.5mm)

MPS法 (l0=1mm)

MPS法 (l0=2mm)


測定値とMPS陽解法、MPS法、CIP法の比較




Technology, Vol. 9, pp. 143-157, 2004

21

測定値測定平均値MPS陽解法 (l0=0.5mm, 3D)

MPS法 (l0=0.5mm, 3D)

CIP法 (l0=0.2mm, 2D)

粒子法を用いた3つの連成解析例

① 3段階の津波解析による構造健全性評価

流体（粒子法）から構造（FEM）への片方向連成解析

② 車輪レール間の水膜の挙動解析

流体（粒子法）から構造（FEM）への片方向連成解析

↓

流体（粒子法）と構造（FEM）の双方向連成解析

③ 着雪解析

着雪計算（粒子法）と気流計算（差分法）の双方向連成解析

22

研究背景

東日本大震災での津波被害• 津波の規模：波高10m以上 / 最大遡上高40m• 浸水面積： 535km2（山手線内側の8.5倍）/ 4割が浸水深2m以上• 人的な被害：死者15,893人 / 90％以上が水死• 建築物被害：浸水被害24万戸/全壊（流失など）13万戸

鉄道における津波被害• 大きな被害を受けた7線区：八戸線・山田線・大船渡線・気仙沼線・

石巻線・仙石線・常磐線• 人的な被害：なし• 駅舎の被害： 23駅が流失• 線路の被害： 65ヶ所、約60kmが流出・埋没• 橋桁の被害： 101ヶ所が流出・埋没• 1730ヶ所で被害が発生

東日本大震災による被害は、地震による被害よりも津波による被害の方が深刻であった。

23

3段階の津波解析

研究背景

24

東日本大震災後の気仙沼線鹿折唐桑駅の前国土交通省都市局公園緑地・景観課：http://www.mlit.go.jp/crd/park/joho/dl/fukko

津波により殆どの周辺の構造物が倒壊する中、鹿折唐桑駅の駅舎は津波による浸水被害を受けたのにかかわらず、ほぼ原型を留めて倒壊を免れた。


研究目的鉄道構造物に対する、水圧よる津波被害を再現するために、数値解析による津波被害再現手法を構築する。

（例として）鹿折唐桑駅の駅舎が倒壊を免れた原因を検討する。

25

MPS法による津波解析と津波波力を外力とした駅舎の構造解析の結果


研究の背景と目的

実際の津波による実物の地上構造物の被害を解析したい場合、地上構造物周辺の流入流出境界条件の設定が問題になる。

① 津波波源から沿岸部まので解析は、数千キロ四方の解析範囲なので、２次元の浅水長波により計算するのが一般的。

② 地上構造物の構造健全性を評価するためには、３次元の流体解析が必要。

③ 津波波源から地上構造物までを、地上構造物の解像度で一体型で解くのは、計算コスト面から非常に困難。

津波波源から解析対象である地上構造物までのマルチスケール解析が必要。

26


流入境界条件

移動壁 • 境界上に5層程度の壁粒子で構成さ

れた移動壁を配置し，解析領域に向い流入速度で移動する

• 壁粒子が解析領域に入ったら流体粒子になり，新たな壁粒子が移動壁の外側に生成される

境界

解析領域

27


流出境界条件

粒子を削除する領域

• 移動壁は停止する

• 移動壁からl0 だけ内側の流体粒子は削除する

• 移動壁から5l0 だけ内側の流体粒子に流出速度を与える

l0 4l0

流出速度を与える領域

移動壁

境界

解析領域

28


気仙沼第１の解析（1000km四方程度）

２次元差分法/格子サイズ1350m～5m

第３の解析（180m×150m）３次元粒子法/粒子の直径0.1m/最大1.8億粒子400秒間の解析に２週間（鉄道総研XC30-50ノード）

第２の解析（4km x 2km）３次元粒子法/粒子の直径1m/最大1.3億粒子1800秒間の解析に150時間（名大ＦX100-192ノード）

29


圧力0 40kPa

相当応力0 1MPa

駅舎の構造解析

津波波圧による駅舎の構造解析駅舎にかかる津波波圧

波圧による等価節点力津波波圧を外力とした構造解析 30


第３解析における駅舎の構造解析

31

速度

0m/s 4m/s

圧力

0Pa 40kPa

相当応力

0Pa 2MPa

津波の進行方向






窓とドアが開いている場合窓とドアが閉まっている場合


8.0

6.0

4.0

0.02.0

相当応力（MPa）

第３解析における駅舎の構造解析

32

相当応力

0Pa 2MPa 津波の進行方向

節点C 節点D

窓とドアが開いている場合窓とドアが閉まっている場合

相当応力（MPa）

8.0

6.0

4.0

0.02.0


節点A 節点B


まとめと今後の課題

まとめ鹿折唐桑駅の駅舎が倒壊を免れた原因

• 駅舎が高台にあった。

• 駅舎は窓やドアが開いたオープンな構造になっており、津波が駅舎内部を通過した。

• 多くの浮遊物が流れる進行方向上に駅舎がなかった。

今後の課題• ニーズの高い、盛土に対する越流・洗掘に適用

33


気仙沼第１の解析（1000km四方程度）


第２の解析（4km x 2km）３次元粒子法/粒子の直径1m/最大1.3億粒子1800秒間の解析に150時間（名大ＦX100-192ノード）

第３の解析（180m×150m）３次元粒子法/粒子の直径0.1m/最大1.8億粒子400秒間の解析に２週間（鉄道総研XC30-50ノード）

34


石巻第１の解析（1000km四方程度）


第２の解析（4km x 3.5km）３次元粒子法/粒子の直径1m/最大2.6億粒子800秒間の解析に7日（東大FX10-144ノード）

第３の解析（400m×550m）３次元粒子法/粒子の直径0.2m/最大3.9億粒子200秒間の解析に1ヶ月（九大CX400-32ノード）

35


福島第一原子力発電所第１の解析（1000km四方程度）


第２の解析（3km x 4km）３次元粒子法/粒子の直径1m/最大2.5億粒子1800秒間の解析に40時間（京-4800ノード）

第３の解析（107m×128m）３次元粒子法/粒子の直径0.1m/最大1.8億粒子200秒間の解析に60時間（京-4800ノード）

36


車輪レール間の水膜の挙動解析

37


雨天時や降雪時の空転・滑走が、レール表面き裂の発生・発達の原因になっている。

① 車輪・レール間の転がり接触問題において、流体（水や油・潤滑剤など）の介在が接触部に与える力学的な影響は未解明な点が多い。

② 流体が介在する車輪・レールの接触状況を実験的に観察・測定することは難しい。

③ 従来の計算例では、常に乾燥状態 or 常に潤滑された状態のいずれかのみ。

車輪・レール間の転がり接触問題において、流体の挙動を含めたシミュレーションによる検討が必要。

38


連成解析手法

39

車輪レール転がり接触解析によるメッシュの変形を流体解析に伝える

流体圧力を車輪レールに渡す（今後開発予定）


車輪レール転がり接触解析

車輪レール転がり接触シミュレータによる解析結果

解析モデル① 新幹線用に準拠した1軸1輪モデル② 六面体1次要素③ 車輪44,658要素④ レール127,722要素⑤ 車輪の円周方向のメッシュサイズ：6.22mm⑥ レールの長手方向のメッシュサイズ：3.00mm

解析条件① 輪重は50.0kN，輪軸に2.0kN·mのトルクをかけ駆動② キャタピラメッシュを使用③ 車輪レール転がり接触解析の変形後のメッシュをポリゴン境界表現として使用④ 輪軸中心が25.030 m/sから25.102m/s（約90km/h）まで加速，150mm走行⑤ 物理時間6.0ms，時間間隔を5.0×10-3ms⑥ 鉄道総研XC30の8ノード16プロセス12スレッドで1ステップ30秒

解析手法① 大規模有限要素法構造解析ソフトウェアFrontISTRを改良② 大変形弾塑性動解析③ ラグランジュ未定乗数法による接触解析④ 直接法ソルバーMUMPSを使用

40



粒子シミュレータによる水膜の挙動解析結果

解析モデル① 高さ6.0mm，底部の直径36mmの液滴モデル② 直径0.05mmの粒子を2500万個でモデル化

解析条件① 車輪レール転がり接触解析の変形後のメッシュをポリゴン境界表現として使用② 輪軸中心が25.030 m/sから25.102m/s（約90km/h）まで加速，150mm走行③ 物理時間6.0ms，時間間隔を2.5×10-4ms④ 解析領域60mm×50mm×16mm⑤ 鉄道総研XC30の50ノード100プロセス12スレッドで計算時間48時間

解析手法① 粒子シミュレータによるMPS陽解法

41


固体壁粒子と固体壁ポリゴン

42

固体壁粒子

流体粒子

固体壁ポリゴン

流体粒子

固体壁粒子を用いた解析固体壁ポリゴンを用いた解析

計算コスト大前処理不要

計算コスト小前処理必要


車輪レール解析の解析結果を水膜の挙動解析に渡す方法

43

距離距離

① 変形後のメッシュそのものを渡すa. 前処理コスト小b. 解析中のコスト大

② 変形後のメッシュを元に生成した距離関数を渡すa. 前処理コスト大b. 解析中のコスト小


壁粒子と壁ポリゴン

44

壁粒子を用いた解析壁ポリゴンを用いた解析

Initial particle

spacing, l 0 [mm]Fluid Wheel Rail Total

1.0 3,280 131,400 60,000 194,680

0.5 26,105 534,000 256,000 816,105

0.2 401,078 3,416,000 1,637,000 5,454,078

0.1 3,208,400 13,724,000 6,624,000 23,556,400

0.05 25,665,308 (54,896,000) (26,496,000) (107,057,308)

流体部分，車輪部分，レール部分の粒子数


壁粒子を用いた解析と距離関数を用いた解析のノード時間

壁粒子を用いた解析

0.08

1.07

60.91

817.25

0.04

0.13

2.80

44.96

833.46

0.01

0.1

1

10

100

1000

0.050.100.200.400.801.0 0.5 0.2 0.1 0.05

Initial particle spacing, l0 [mm]

Node hour [h]

壁粒子を用いた解析

距離関数を用いた解析

1/21

1/18

Initial particle

spacing, l 0 [mm]Fluid Wheel Rail Total

1.0 3,280 131,400 60,000 194,680

0.5 26,105 534,000 256,000 816,105

0.2 401,078 3,416,000 1,637,000 5,454,078

0.1 3,208,400 13,724,000 6,624,000 23,556,400

0.05 25,665,308 (54,896,000) (26,496,000) (107,057,308)

流体部分，車輪部分，レール部分の粒子数

45


粒子法計算領域で必要とされる距離関数

距離関数の計算領域0




粒子法の計算領域3




粒子法計算領域3




46


粒子法計算領域で必要とされる距離関数

47

距離距離距離距離



距離関数を均等な領域で計算した後に通信によって分配









48


距離関数を均等な領域で計算した後に通信によって分配

49




0 20 40 60

0.0

2.0

4.0

6.0

8.0

10.0

12.0

0

200,000,000

400,000,000

600,000,000

0 20 40 60

XC30の40ノード80プロセス12スレッドを用いた計算時間

格子点数計算時間[s]

格子点数

距離関数の計算時間

ランク番号

連成1回分の計算時間の内訳

距離関数生成 1回

水膜の挙動解析 20step

車輪・レール転がり接触解析 1step

粒子直径：0.05mm粒子数：2500万

解析領域：60mm×50mm×16mm距離関数の格子間隔：0.025mm距離関数の格子数：30億 50



まとめ• 粒子法計算において、固体壁をポリゴンで表現することで固体壁粒子を用いた場合の約20倍の高速化を実現

今後の課題• 粒子法の陰解法化（陽解法→ 陰解法）

• 双方向連成（片方向連成→ 双方向連成）

• 連成面の扱い（表面粗さや圧力・粘性の関係など）

51


鎌田慈，高橋大介，栗原靖，横倉晃，飯倉茂弘，軌道上の雪質を考慮した車両台車部の着雪量予測手法，鉄道総研報告，Vol.29，No.1，pp.11-16，2015．

Wikipedia：着雪

走行風により雪が巻上げられ、車体後部に着雪した鉄道車両

Wikipedia：着雪着雪のため倒壊した電柱

着雪解析

鉄道車両台車部への着雪鉄道車両後部への着雪電線への着雪

52


降雪地帯を車両が走行すると車両の台車に雪が付着する。

着雪した雪の塊が落下すると、軌道のバラストが飛散して、車体の損傷、沿線家屋や鉄道設備への被害が発生する。

① 着雪し難い車両形状にするなどの「着雪防止対策」や着雪除去のための人員配置予測などの「着雪発生時対策」の研究開発が行われてきている。

② 従来の着雪に関する研究は、観測や実験、簡易式を用いたものが多い。

③ 数値解析による研究では、空気流の解析を主とし、着雪に取り組む研究は少ない。

本研究では、着雪解析と着雪実験を連携することで、着雪プロセスの再現し、鉄道車両に対する着雪解析を行う。

53

着雪解析

空気流シミュレータによる気流計算

Basset-Boussinesq-Oseen 方程式による飛散している雪粒子の軌道計算

粒子シミュレータによる着雪計算

流れ場の速度分布

雪粒子の軌道

境界形状の更新

gUUd

Cdt

Udrr

ww

f

dw

1

4

3

新たな着雪層が２層生成されたら

)div(max if v

連成解析手法

54

着雪解析

空気流シミュレータ

• 基礎式：非圧縮性流体のナビエ・ストークス方程式

• 乱流解析：LES（コヒーレント構造スマゴリンスキーモデル）

• 不等間隔格子による有限差分法

• フラクショナルステップ法

• 2次精度の中心差分

• 3次精度のアダムス・バッシュフォース法

• ヤコビ法20反復によるPoisson方程式の求解

• x,y,z軸に直交した領域分割

4.01

2.28

1.23

0.80

0.550.49

1.00 0.88

0.81 0.84

0.70 0.61

0

0.2

0.4

0.6

0.8

1

0.25

0.50

1.00

2.00

4.00

6,144 12,288 24,576 49,152

Strong scaling of 100 billion grids by K computer

36,864

64,512

82,944

Wall-clock time (s)

Wall-clock time

Parallel efficiency

Parallel efficiency

55

着雪解析

着雪計算手法

壁粒子

着雪粒子

飛散している粒子

着雪判定粒子re

re

着雪判定粒子周辺の空間充填率が、

大きければ着雪

小さければ着雪しない

56

着雪解析

気流計算（差分法）から着雪計算（粒子法）へのデータ（流れ場の速度分布）の分配

着雪計算（粒子法）の計算領域3




気流計算（差分法）の計算領域0




現在は、雪の軌道計算は、着雪計算の計算領域で実施

57

着雪解析

着雪計算（粒子法）から気流計算（差分法）へのデータ（境界形状の更新）の分配









現在は、雪の軌道計算は、着雪計算の計算領域で実施

58

着雪解析

着雪連成解析

空気流シミュレータと粒子シミュレータによる着雪解析結果

空気流シミュレータによる気流計算• 解析範囲: 2.5m×1m×1m• 格子点数：1.4億 (700x500x400)• 最小格子間隔：1mm• 解析時間間隔: 10-4s• ステップ数：約20万• 計算時間：6,000s（京-1200ノード）

粒子シミュレータによる着雪計算• 解析範囲: 1m×0.4m×0.4m• 粒子数：500万• 粒子の直径：1mm• 解析時間間隔: 10-4s• ステップ数：10万• 計算時間：800s（京-1200ノード）

15cm

59

着雪解析


まとめ• 空気流シミュレータと粒子シミュレータを連成させることで、着雪連成解析を実現

今後の課題• 降雪風洞実験と連携して、雪粒子の軌道計算手法と着雪計算手法の確立

• 実現象と数値解析の時間スケールの違いへの対策

• 着雪量の推定式の開発

• 着雪しにくい車両の提案

60

着雪解析

まとめ

• 3段階の津波解析による構造健全性評価

• 車輪レール間の水膜の挙動解析

• 着雪解析

61

Documents

粒子法による大規模津波解析と 鉄道を対象とした …csed.sakura.ne.jp/wp-content/uploads/2017/10/433af...(Sandy Bridge) 345 16 (2 cpus / node) 1,476 XC30 RTRI (鉄道総研)

粒子法による大規模津波解析と鉄道を対象とした …csed.sakura.ne.jp/wp-content/uploads/2017/10/433af...(Sandy Bridge) 345 16 (2 cpus / node) 1,476 XC30 RTRI (鉄道総研)