第二回材料系ワークショップ：�

汎用 MD 計算ソフト MODYLAS による�

大規模シミュレーション�

名古屋大学工学研究科  附属計算科学連携教育研究センター  

特任講師  安藤　嘉倫  

MODYLAS 開発の履歴

「NAREGI」において並列化チューニングを開始  Mode

Modylas

MODYLAS

「次世代ナノ統合シミュレーションソフトウェアの研究開発」において  京コンピュータに最適化した並列化チューニングを実施  

www.modylas.org  においてバイナリ公開  (2013  年  9  月)                                                                                                          ソース公開        (2014  年  4  月)

CMSI  MateriApps  に登録

CMSI配信講義/AICS配信講義：  計算科学技術特論A  (2013,  2015)  吉井 [名大]  計算科学技術特論B  (2014,  2016)  安藤  [名大]  計算科学技術特論C  (2015)  吉井  [名大]    

論文公刊　Y.Andoh  et  al.,  J.  Chem.  Theory  Comp.,  9,  3201-­‐3209  (2013).

第12回CMSI神戸ハンズオン  :    MODYLAS講習会,  FOCUS  (2013)  第21回CMSI神戸ハンズオン  :    MODYLAS講習会,  CMSI神戸拠点 (2015) (Webページに使用方法についての説明資料あり) (Webページに並列化技術についての説明資料あり)

計算の対象としている物質 ソフトマター全般

小児マヒウィルス(ポリオウイルス)

細胞膜

その他　・クラスレートハイドレート　・高分子粘着剤・対衝撃性高分子材料

構造・機能の多様性

高分子ガス分離膜

ウイルスレセプター

大規模系スローダイナミクス

細胞小器官細胞環境下の生体分子

界面活性剤ミセルのエマルジョン

全原子をあらわに扱った  分子動力学計算

分子動力学計算 手法の概要

繰り返し

離散化

ri :  原子座標 Fi :  原子に働く力 mi :  質量

mid 2ridt2

= Fi i =1,!,N

N  :  原子数

ri,vi を一定ステップ数ごと出力

Hot  spot  は Fi の計算部分 基礎方程式

Fi = !"#(r N )"ri

!(r N ) :  相互作用ポテンシャル

!(r N ) = !intramolecule +!Lennard-Jones +!Coulomb

O(N) O(N2)  Ewald法での  厳密計算  (周期境界条件下)

Particle Mesh Ewald 法 FFT,  全対全通信,  O(N  log  N)

高速多重極展開法 (FMM) 多重極子展開,  隣接通信,  O(N)

>  1,000  process  

~  1,000  process  

MODYLASでは大規模系・超並列を前提にこちらをメインに開発

演算,  通信ともに

分子内 分子間 短距離

分子間 長距離

vi t +!t2

"

#$

%

&'= vi (t)+

!t2Fi (t)mi

ri (t +!t) = ri (t)+!tvi t +!t2

"

#$

%

&'

vi t +!t( ) = vi t +!t2

"

#$

%

&'+

!t2Fi (t +!t)

mi

原子間・分子間の相互作用

化学結合長伸縮  

結合角伸縮  

二面角回転    improper  二面角振動  

Utot = Kb(b! b0 )2

bonds" + K! (! !!0 )

2 + Kub(s! s0 )2

ub"

angles"

+ K"dihedrals" 1+ cos(n" !#)[ ]+ K! (! !!0 )

2

impropers"

+ "ijRijrij

#

$%%

&

'((

12

! 2Rijrij

#

$%%

&

'((

6)

*

++

,

-

.

.nonbonds" +

qiqjrij静電相互作用  (長距離)  

レナードジョーンズ相互作用  (近距離)  

Fi = !"Utot

"ri

しばしば結合長伸縮, 結合角伸縮などの速い運動の自由度に距離拘束条件を導入 (SHAKE/RATTLE/ROLL法) → より大きな Δt を使用でき, 計算可能時間長さが延びる

 Δt  =  10-­‐16  s  

 Δt  =  10-­‐15  s  

 Δt  =  10-­‐16  ~  10-­‐15  s  

 Δt  =  10-­‐15  s  

古典近似された力場関数 (例: CHARMM)

代表的な汎用ポテンシャル

力場名称 主な開発者 MDソフトウェア タイプ

CHARMM M. Karplus,　

A.D. Mackerell Jr., J. Klauda

CHARMM All-atom

GROMOS H.J.C. Berendsen,

W.F. van Gunsteren GROMACS United-atom

AMBER P.A. Kollman AMBER All/United- atom

OPLS W.L. Jorgensen -- All/United-atom

All-atom United-atom 例) メチル基

-CH3

用いる力場およびAA/UAは,要求する計算精度に応じてユーザーが選ぶ

MODYLAS_1.0.4

開発版では対応,  近日公開

分子動力学法による研究の手順　

問題を設定する

何を計算するか

系の原子数を決める

ポテンシャル関数の選択 (無ければ新たにつくる)

アンサンブルを決める

初期配置を作る

MD計算を開始する

MD計算を終了する

結果を解析する

結論を得る

Nago-Ignition, ないしVMD MODYLAS

研究担当者の判断

自作プログラム, ないしVMD

.dcd,  .mdtrj.bin  

分子動力学法と熱力学的積分法による研究事例

問題を設定する

何を計算するか

系の原子数を決める

ポテンシャル関数の選択 (無ければ新たにつくる)

アンサンブルを決める

初期配置を作る

MD計算を開始する

MD計算を終了する

結果を解析する

結論を得る

SDSミセルへの炭化水素分子 (メタン, エタン, ..) の可溶化過程

CH4

C2H6

C3H8

疎水性炭化 水素分子

界面活性剤 Sodium Dodecyl Sulfate

ΔGsolv

K.Fuijmoto,  N.Yoshii,  S.Okazaki,  J.Chem.Phys.,  136,  014511  (2012).;  133,  074511  (2010).;  137,  094902  (2012).

メタン

水

分子動力学法と熱力学的積分法による研究事例

問題を設定する

何を計算するか

系の原子数を決める

ポテンシャル関数の選択 (無ければ新たにつくる)

アンサンブルを決める

初期配置を作る

MD計算を開始する

MD計算を終了する

結果を解析する

結論を得る

SDSミセルへの炭化水素分子 (メタン, エタン, ..) の可溶化過程

可溶化自由エネルギープロファイルΔGsolv (Rij)

60個のSDS分子 + 水分子 (約2万原子)

全原子力場CHARMM

等方的NPTアンサンブル

ミセル状にSDSを配置し周囲にNa+および水, メタンを配置.

ΔGsolv(Rij)=∫∞Rij<- f(R)>dR を計算

炭化水素のミセルへのへの可溶化過程の分子論を解明

反応座標 λ に沿って <∂G/∂λ> を複数点計算. λ はメタン重心と溶質重心との動径距離 Rij (平均力が0となる, 十分遠方を基準点にとる)

Nano-­‐Ignidon

MODYLAS

Excell,  or  自作プログラム

第21回CMSI神戸ハンズオン資料参照

実際の研究に使われた例(1)

９月２３日　新潟日報 １０月２日　中国新聞

９月２３日　神戸新聞

９月２４日　日経新聞 ２０１２年９月２８日　朝日新聞

福井新聞　2013年10月08日

大分合同新聞　2013年09月30日

西日本新聞1面記事（ウイルスの動き3D化）　2014年07月11日

実際の研究に使われた例(2)

クラスレートハイドレートの  融解過程 (岡山大)  T.Yagasaki,  M.Matsumoto,  Y.Andoh,  S.Okazaki,  H.Tanaka,    J.  Phys.  Chem.  B,  118,  1900  (2014).;  118,  11797  (2014).

650万原子,  200  ns

・日本化薬　  J.  Phys.  Chem.  B,  113,  15181  (2009).  

・大日本住友製薬        PLoS  ONE,  11,  1  (2016).　　  

・日東電工  

・東亞合成  

企業との共同研究  

Micelle  of  PEG-­‐PBLG-­‐Ac  block  copolymers

15万原子,  7ns

36万原子,  120  ns

薬剤-­‐膜タンパク質  結合自由エネルギー

高分子粘着材

研究協力:  中川  (蛋白研)  野本  (微化研)  田中（名市大医)  石川（名大医)

ポリオウィルスカプシドの安定性  安藤嘉倫,  岡崎進,  情報処理学会会誌「情報処理」８月号.  

J.  Chem.  Phys.  141,  165101  (2014).

ImPACT  プロジェクト：  超薄膜化・強靭化「しなやかタフポリマーの実現」

「京」での性能測定

サイズ  /  nm3 原子数 ノード数

483  　 10,000,000 65,536

243  　 1,250,000 8,192

123 150,000 1,024

63 20,000 128

5  ms/step*  に必要な「京」ノード数目安

*  35  ns/day  (Δt=2fs)

Pairwise  addidve

FMM

Intra

Comm.

Fig.    Measured  pardal  calculadon  dmes  and  communicadon  dme  per  MD  step  (Δt)[1]

Fig.  Strong  scaling  test  with  K-­‐computer[1].

・原子数　107 　　PYPタンパク質  512  個,  水 3005952個,  イオン2560個  ・NVEアンサンブル（距離拘束条件含む)  ・LJ  カットオフ12Å  ・FMM    (6階層,  展開次数4)  ・muld-­‐dme  step  

5  ms/step

65,536 64

[1]Y.Andoh  et  al.,  J.  Chem.  Theory  Comp.,  9,  3201-­‐3209  (2013).

分子座標 .pdb

CHARMM トポロジーファイル

CHARMM パラメーターファイル

Nano-Ignition

座標情報ファイル aaa.mdxyz

力場情報ファイル aaa.mdff

MODYLAS用 計算条件ファイル aaa.mddef

可能な操作 ・入力された分子の3D表示 ・力場パラメータの割り当て ・距離拘束条件の指定 ・基本セルサイズの設定 ・力場パラメータの変更 ・水素原子付加 ・水溶媒付加 ・分子の削除, 挿入, 置換 ・分子の複製, 移動 ・化学結合の追加 など (マニュアル参照)

例) top_all22_prot.rtf

例) par_all22_prot.prm

入出力支援(GUI など)の整備状況�

・インプット作成ソフト  Nano-­‐IgniOon        フリーソフト(登録制) www.nano-­‐ignidon.ims.ac.jp  

I/O構成

   VMD[2]を介してMODYLAS用インプットファイル作成できる  Plug-­‐in  を準備中 [2]  Humphrey,  W.,  Dalke,  A.  and  Schulten,  K.,  ``VMD  -­‐  Visual  Molecular  Dynamics''  J.  Molec.  Graphics  1996,  14.1,  33-­‐38.  

・Windows版  (.exe)  ・Linux版 ソースコード 第12回CMSI神戸ハンズオン資料,  および  www.modylas.org  -­‐>  Documentadon  -­‐>  Manual,  Tutorial  slide  を参照

Nano-Ignition で力場を設定できる分子種 (CHARMM)

以下サイトより,  最新のCAHRMM力場ファイルをダウンロード:  hpp://mackerell.umaryland.edu/CHARMM_ff_params.html

toppar_c36_jul16.tgz

top_all36_prot.rr  top_all36_na.rr  top_all36_lipid.rr  top_all36_cgenff.rr  top_all36_carb.rr  top_all35_ethers.rr  top_all22_prot.rr

par_all36_prot.prm  par_all36_na.prm  par_all36_lipid.prm  par_all36_cgenff.prm  par_all36_carb.prm  par_all35_ethers.prm  par_all22_prot.prm

タンパク質  核酸  脂質  CGenFF  (有機小分子)  糖質  エーテル  (CHARMM35) タンパク質  (CHARMM22)  

・分子座標は.pdbファイル形式で別途用意する  (winmosterなどで作成)      ・高分子の力場に使用される  OPLS  は non_charmm/top_opls_aa.inp,  par_opls_aa.inp  をベースに改変を加えることでignidonからread可能に

トポロジーファイル パラメーターファイル

MODYLAS I/Oの構成

MODYLAS 座標情報ファイル aaa.mdxyz, or aaa.mdxyz.bin

力場情報ファイル aaa.mdff, or aaa.mdff.bin

MODYLAS用 計算条件ファイル aaa.mddef

力学,熱力学量モニターファイル aaa.mdmntr

リスタート用ファイル aaa.restart.bin, or aaa.restart.asc

解析用ファイル aaa.dcd, aaa.mdtrj.bin

計算速度ファイル aaa.mdrun

実行情報 (標準出力)

aaa: セッション名

全てのI/Oファイルで共通

.bin はバイナリ :可視化の対象ファイル  

I/O構成

www.modylas.org  -­‐>  Documentadon  -­‐>  Manual  および  Tutorial  slide  を参照

MODYLAS 入出力ファイルの書式

・タグ形式　　<xxxx>    ......      </xxxx>  　　　xxxx  には所定のキーワードが入る  　　　タグの入れ子構造も可　<xxxx>  <yyyy>  ...  </yyyy>  </xxxx>  ・変数名  =  値  ・「#」以降は読み込まれない  (コメント扱い)  例) aaa.mddef <output> dcd=yes <trjdcd> start=0 interval=100 </trjdcd> # dcd <restart> start=0 interval=10000 </restart> # restart <monitor> start=0 interval=1 </monitor> # mdmntr </output> <integrator> dt=2.0e-15 # [sec] steps=10000 </integrator> <ensemble> ensemble=npt_a # opt/nve/nvt/npt_a </ensemble>

100ステップごと .dcd を書き出し 10000ステップごと mdxyz.bin を書き出し

1ステップごと mdmntr を書き出し

数値積分の時間刻みΔt=2fs ステップ数 10000

アンサンブルは等方的 NPT (圧力P, 温度T一定)

解凍先フォルダへ移動

>cd MODYLAS_1.0.4/source/

コンパイル環境の設定

>./configure --with-kind-fortran-compiler=FC

コンパイル

>make

./src/modylas

が生成

MODYLAS コンパイル方法

FC=(K|FX10|INTEL|PGI)

K : 京コンピューター FX10 : FX10 INTEL : インテルコンパイラー PGI : PGIコンパイラー

必要に応じて,  コンパイル前に src/Makefile  ファイルの  FC=の行に下記プリプロセッサを追記し機能拡張  -­‐DHALFDIRE　  作用反作用ルーチンを有効  -­‐DONEPROC_AXIS  プロセス数1,2,4に対応  (標準では8以上)  -­‐DSEGSHAKE  熱力学的積分法ルーチンを有効

./configure  -­‐-­‐help  で候補を表示

MODYLAS 実行方法

インプット一式のあるフォルダへ移動

>cd Met2/

コンパイルした実行モジュールのリンク

>ln –s ../../source/src/modylas ./

並列実行

>mpirun –np 8 ./modylas calcmf_034_0 > output_034_0

./modylas セッション名 実行形式:

＊実行時のスレッド数は  export  OMP_NUM_THREADS=?  で設定 ＊プロセス数×スレッド数,  はマシンのコア数以下とする  

aaa:  セッション名  

aaa.mddef,  aaa.mdff,  aaa.mdxyz

例）  sample/Met2

①力学・熱力学量 （ポテンシャルエネルギー, 温度, 圧力,etc.) の時間変化

計算結果の可視化�

②原子の軌跡 ri(t)

1. 生成された aaa.dcd を Windows 上で VMD により動画表示

> vmd aaa.pdb aaa.dcd

2. 用意されたコンバータープログラムにより aaa.mdtrj.bin を aaa.xyz に変換 > vmd aaa.xyz

・aaa.mdmntr は gnuplot により直接グラフ化できる ①「File」→「New Molecule ...」を選択

②「Browse」を押し可視化対象のaaa.pdb, aaa.dcd を選択

③「Load」を押す

④動画として表示される

## water_opt.mdmntr -- monitor variables output from MD calculation by modylas # # datas below are formated as: # step time Hamiltonian potential-E kinetic-E total energy temperature volume pressure box-length(x) box-length(y) box-length(z) # [sec] [J/cell] [J/cell] [J/cell] [J/cell] [K] [m3] [Pa] [m] [m] [m] # 1 1.000000000000E-15 8.634745670798E-15 8.634745670798E-15 0.000000000000E+00 8.634745670798E-15 0.000000000000E+00 1.406080000000E-25 0.000000000000E+00 5.200000000000E-09 5.200000000000E-09 5.200000000000E-09 2 2.000000000000E-15 1.449528625793E-15 1.449528625793E-15 0.000000000000E+00 1.449528625793E-15 0.000000000000E+00 1.406080000000E-25 0.000000000000E+00 5.200000000000E-09 5.200000000000E-09 5.200000000000E-09

例) ポテンシャルエネルギー最小化計算 (初期構造最適化) での aaa.mdmntr

www.modylas.org  -­‐>  Documentadon  -­‐>  Manual  および  Tutorial  slide  を参照

競合する、あるいは類似のアプリケーション

Long  range  part  of  FMM  or  PME Others Total

MODYLAS  *1)  

March, 2012 12.1*2)   2.1 14.2

NAMD*3)

November, 2011 68 0.45 68.45

・20 atoms/core ・LJ cut off radius: 12 Å ・Long range interaction called for every step (msec/step)

8,960  ノードで飽和  

*1) 8192 nodes (x 8 cores) *2) Operation 9.6 ms/step, communication 2.5 ms/step *3) Guessed value from SC11 paper

NAMD (米国) との比較 (2011)

動作確認済みプラットフォーム�

力場 CHARMM  with  CMAP,  TIP3P    [OPLS,  AMBER,  TIP4P]

アンサンブルNVE,  NVT  (能勢-­‐Hooverチェイン),  等方的NPT  (能勢-­‐アンダーソン)    [,異方的NPT  (能勢-­‐パリネロ・ラーマン)]

数値積分 rRESPA

拘束動力学 SHAKE/ROLL,  RATTLE/ROLL

静電相互作用 高速多重極展開法  (FMM)  [,pardcle  mesh  Ewald  (PME)  法]

Web  公開版では  [    ]  付き項目は未対応.  順次対応.

動作確認済みコンパイラー frtpx  (富士通),  ifort  (インテル),  pgf90  (PGI)

並列方式 MPI/OpenMP/SIMD  の3層ハイブリッド並列  

通信方式 「京」の3Dトーラスネットワーク  Tofu  に最適化  

インストール済スパコン京コンピューター    /opt/spire/MODYLAS/　　　　＊実行バイナリのみ  FX10  (oakleaf),  FX100  でも動作確認済み  

連携ソフト�REM  (レプリカ交換法),  FMO  (フラグメント分子軌道法)  ERmod  (エネルギー表示溶液理論)　　　　　　　　　　[計画中:NTChem,  粗視化MD]

ダウンロード方法

登録後このようなメールが送られてくる. リンク先からソースコードをダウンロード

www.modylas.org

・マニュアル(PDF)  ・チュートリアル(PDF)  のダウンロード

ユーザー登録

ダウンロードライセンス

・ユーザー登録制  ・再配布禁止　　　  ・文献引用 [Y.Andoh  et  al.,  J.  Chem.  Theory  Comp.,  9,  3201-­‐3209  (2013)]  ・ベンチマーク結果を著作権者の許可無く公開禁止  ・ソース変更,改良点は著作権者にフィードバック    ライセンス詳細は www.modylas.org  のダウンロードページに記載              

実行制限

MODYLAS_1.0.4 には, 主に並列化方法からの要請により, 以下の実行制限があります

✓MPI と OpenMP のハイブリッド並列

✓基本セル各辺の分割数 = 2k (均等分割, 3≤k≤6) 2k*3l 　(不均等分割)

✓分割されたサブセルの一辺長さ > 0.5*カットオフ半径

✓立方体の基本セル 直方体　　　　　　　　　　　　　　　　　　　　　　　　　　　　

　・プロセス数: 2n (3≤n) 2n (1≤n) 2n*3m (1≤n, 1≤m)　　　　　　　　　　　　　　　 　・スレッド数: 制限なし

✓周期境界条件下

2.0.0

1.0.4

コンタクトの方法�

名古屋大学  　岡崎　進　　  教授 　吉井　範行  特任准教授  　安藤　嘉倫  特任講師 　藤本　和士　  助教  　山田　篤志  (現Kent  State  Univ.) 　小嶋　秀和    分子科学研究所  　水谷　文保　  技術班長 　岩橋　建輔　  技術職員

著作権者 開発協力者

名古屋大学情報基盤センター  　片桐　孝洋  教授  　荻野　正雄  准教授  東京大学情報基盤センター  　大島　聡史  助教  理研 AICS  　鈴木惣一朗  　南　一生,  黒田明義      富士通  　市川真一,  小松秀美  　石附　茂,　武田康宏,  福島正雄  金沢大学  　長尾　秀実　  教授 　川口　一朋  助教

共同研究相談　　  okazaki@apchem.nagoya-­‐u.ac.jp

一般的質問　　 hpp://www.modylas.org  の  Forum/General  discussion  へ投稿

使用方法の解説　  hpp://www.modylas.org  の  Documentadon  の資料,  および      第12,21回CMSI神戸ハンズオン:  MODYLAS講習会資料

参考文献

分子動力学計算

[1]    岡崎進,  吉井範行,  コンピュータシミュレーションの基礎,  化学同人  (2000).  [2]    上田顕,  分子シミュレーション  –古典系から量子系手法まで-­‐,  裳華房  (2003).  [3]　D.Frenkel,  B.Smit,  Understanding  molecular  simuladon  (2nd  ed.),  Academic  Press  (2001).

物理化学,  統計力学

[4]    D.A.  McQuarrie,  J.D.  Simon,  物理化学(下)  分子論的アプローチ,  東京化学同人 (2000).  [5]    M.E.  Tuckerman,  Stadsdcal  Mechanics:  Theory  and  Molecular  Simuladon,  Oxford  Univ.  Press  (2010).