JLDG 　 (A04)JLDG: 計算素粒子物理（格子ＱＣＤ）の為の

　データグリッド　 Japan Lattice Data Grid

筑波大学計算科学研究センター　　吉江友照

ワークショップ「計算科学による素粒子・原子核・宇宙の融合」

2008 年 12 月 1 日

JLDG 開発の動機と経緯JLDG システムとその利用データグリッドの将来

• 計算素粒子物理のデータとその共有– 基礎データ：ＱＣＤ配位 (QCD configuration)

• 生成に膨大な計算機資源を必要とする• 生成されたデータは貴重： QCD 配位を用いて素粒子の色々な

性質を研究できる（データの解析）– 複数の研究機関に所属する複数の研究者の共同研究– 複数の研究機関のスーパーコンピュータを活用して基礎データを

生成、基礎データを共有し共同で解析– データのネットワーク上での共有からデータグリッドへ

• 計算素粒子物理のデータグリッド– 複数機関のスパコンを駆使して行う共同研究を支援

• 国内の研究グループ内でのデータ共有• Japan Lattice Data Grid (JLDG)

– 格子 QCD コミュニティ全体の研究促進• 世界規模での配位データ共有• International Lattice Data Grid (ILDG)

– 2007 年完成・運用開始　

JLDG 開発の動機と経緯

• hepnet-J/sc 2002 (NII SINET GbE 専用線採用） ~– 目的：広域分散型ファイルシステム– バックボーン：　 Super SINET VPN (KEK, 筑波 , 京都 ,

大阪 , 広島 金沢）– 戦略：管理体制の異なる機関でセキュリティを維持しつつ

データを共有：各拠点のスパコンに接続したファイルサーバ間で、管理者権限でファイルをミラー

– 有効に機能　 (CP-PACS/JLQCD, KEK 大型シミュレーション）

JLDG 以前のデータ共有

CCP@Tsukuba

CP-PACS

RCNP@Osaka

SX-5

CRC @ KEK

SR8000

YITP@Kyoto

SX-5

Hepnet-J/sc

File ServerFile Server

File Server File Server

• 問題の顕在化– データの所在の管理コストが増大

• ひとまとまりのデータが複数のディスクに分散してしまう• ユーザーは、データの所在・ミラー先を覚えきれない

– ユーザー・グループの概念がない• 複数の研究グループのサポートに難

• 必要な機能– スペースの制限がない（後で追加可能な）フラットな

データ共有システム– 組織をまたがるユーザー管理

• JLDG の開発– システム設計・設置：筑波大計算機工学者＋日立製作所– NII CSI 予算– 2005/11 開始、 2007/03 完成、 2008/05 実運用開始

http://www.jldg.org/

• Gfarm （ AIST, Tsukuba ） : global file system 　 (fault tolerant, replica)• VOMS (EDG) ： virtual organization management• Naregi-CA ： user certification• Globus Toolkit (ANL) : GSI- GridFTP• uberftp (NCSA): interactive GridFTP client

Tsukuba KEK

gftp client

6TBGfarm server

6TBGfarm server

Internet

metadataserver

VOMSserver

・・・・

・・・・

supercomputer

fileserver

• Grid-FTP クライアントにログインし、自サイトサーバに接続

NFS mount

• グリッドのどこからでもファイルを転送• ユーザーはファイルの所在を知る必要なし

LAN

SINET VPN

JLDG システムとその利用状況

接続機関・コアメンバ – 筑波大学・　　計算科学研究センター　　　宇川彰、佐藤三久、　　　建部修見、石井理修、　　　吉江友照– KEK ･ 計算科学センター 　　　松古栄夫– 京都大学 基礎物理学研究所　　　大野木哲也– 大阪大学・ 核物理研究センター 　　　外川浩章– 広島大学・ 理学部・物理学科 　　　石川健一 – 金沢大学・ 自然科学研究科 　　　出渕卓

ディスク容量 35TB 　　　　　　　 + 100TB(hepnet-J/sc)

JLDG と ILDG

• 5 つの地域グリッドを束ねた Grid of Grids• JLDG は、日本地域グリッド ( 筑波大計算科学

研究センターにて接続）

JLDG, JapanTsukuba

UKQCD (QCDgrid/DiGS), UK, Edinburgh

CSSM, AustraliaAdelaide

LatFOR, Germany/France/ItalyDESY

USQCD, USAFermilab/JLab

JLDG, JapanTsukuba

UKQCD (QCDgrid/DiGS), UK, Edinburgh

CSSM, AustraliaAdelaide

LatFOR, Germany/France/ItalyDESY

USQCD, USAFermilab/JLab

http://www.lqcd.org/ildg

• データのグループ内での共有– 可能であるが、まだ運用していない　（ユーザー毎の

ファイルアクセス権設定機能が未完であるため）– 2008 年度中に開始したい

• データの一般公開– CP-PACS, CP-PACS/JLQCD Nf=2, Nf=2+1 QCD 配位　　４２セット、 29K ファイル、 7.5TB x 2– データへのアクセス JLDG 内からは uberftp

ILDG 外からは　 ildg-get (gsiftp) 又は　 http– ユーザー数 (Lattice QCD Archive 含む )

JLDG 内 14, ILDG 経由 93, http 経由 189

JLDG の利用

• データグリッド– 現在、 JLDG は主に、データを計算素粒子物理研究

者一般に公開するために使われている。近い将来、 JLDG を日常の研究のインフラとして利用したい。

• ファイルシステム– 現在、 JLDG はスパコンから直接アクセス（読み書

き）できない。技術的に問題があるわけではなく、セキュリティポリシーの問題。将来これを解決して、スパコンから事実上無限のディスクスペースをあたかもローカルなファイルシステムであるかの様なパーフォーマンスで使えるシステムに発展させたい。

• 他分野での活用– JLDG システムは格子 QCD データに特化したシステ

ムではない。ニーズがあればどの分野でも似たシステムを構築できる。

データグリッドの将来