ATLAS 実験におけるFTK 受信モジュールの開発構築と実機試験

早大理工　白神賢飯澤知弥、木村直樹、郡川智洋、昌子貴洋、　仲松弥、寄田浩平、他 ATLAS-FTK group

日本物理学会 2013 年秋季大会高知大学 朝倉キャンパス2013/9/20 （金）

20pSM-10

ATCA

FTK 全体像

213/09/20 　日本物理学会 2013 年秋期大会

Argonne

PISA

Dual-output HOLAROD の出力を

FTK 用にコピー

UChicago

Input MezzanineROD からの hit を

Cluster 化Waseda

FNAL

Data Fomatter各処理単位へ分配

AM board( 並列 )パターンパッチング

FTK to LVL2 CrateFTK 全飛跡情報を LVL2 へ

AUX board( 並列 )トラックフィッティング

3

FTK の Input

　日本物理学会 2013 年秋期大会13/09/20

Advanced TelecomComputing Architecture x 4crate

LVL2 CPU Farm

Pixel (IBL)80Mch (12M)

ROB

SCT6Mch

ROD

ROB

ROD

DFx 8 枚

IM ( 計 128 枚 )　 512 Fiber links(Pixel/IBL:256, SCT:256)

Fiber x4

~75kHzWithin 2.5μs

~1kHzWithin40ms

バンチ衝突~20(40)MHz

Event rate: 100kHz

ROD data:40MHz 32bit data( 最大 2hit を含む )

ROD Output Fiber

Pixel

IBL N/A→56 (2015) 56

B 44 44

1 38 →76 (2018) 76

2 26 →52 (2015) 52

Disk 24 24

Total 132 → 252 (~2018) 252

SCT 90 → 128 (2015) 128

Total 222 → 380 (~2018) 380

13/09/20 　日本物理学会 2013 年秋期大会 4

受信部の詳細 (IM)

小中大

ToTPixel

: ToT の重み付け平均

φ

η

1 2 3 4 5

平均 : 3.5 　幅 : 4

SCT

Pixel

SCT

SCT

Pixel

to DF

from RO

D

FMC

Clustering

FPGASpartan6

FPGA 一つが Pixel, SCT それぞれを一つずつ受け取り Clustering を行う→FPGA には全て同じ FW を実装できる

Fiber links

13/09/20 　日本物理学会 2013 年秋期大会 5

受信部の詳細 (DF)

η 方向を 4 分割φ 方向を 16 分割

η 方向ではビーム衝突点の z position を考慮して、 φ 方向ではトラックの曲率からヒットを重複分配する → 取り回しが複雑に最上流における、高速・複雑な処理を可能にし、柔軟性や堅牢性を持たせる為に ATCA を採用

ATCA 用に IM の output を変更

並列処理のためのデータ分割及び overlap region における hit の sharing を行うoverlap　　 region

ビーム軸 ビームスポット

13/09/20 　日本物理学会 2013 年秋期大会 6

テスト用 IM から実機用 IM へEDRO

VME ATCA

DFVME 用 IM ATCA 用 IM

VME 用 IM ATCA 用 IM

DF の開発に伴い IM をそれまでのテスト版から実機版へと変更Output プロトコルの変更VME 用 IM ATCA 用 IM

frequency 40MHz 320MHz

output 線 Single-ended 24lines LVDS 3lines

1word あたりのclock 数

1clock で 1word(24bits) 8clock で 1word(24bits)

少ない線で通信できるように、 output 線を減少　　　　→ high frequency での LVDS による serialize へ

13/09/20 　日本物理学会 2013 年秋期大会 7

IM テスト戦略Test @CERN

・ 実際の運転環境でのデータフローテスト

Pixel/SCT

RODHOLA

ATCA

FTK システム下流へη-φ Tower・ IM のみのテスト・ 変更点である

Output のテスト

読み出し

Standalone Test@Waseda

↓ 評価ボード

・ IM-DF Communicationテスト

読み出しM

ini-backplane

Test @FNAL

DF

・ Input のテスト・ データフローテスト

← 疑似ヒット　　　送信モジュール

Test @Waseda

ATCA

読み出し

DONE

~2013,7On-going

2013,9 ~DONE

~2013,8

2013,11~

13/09/20 　日本物理学会 2013 年秋期大会 8

Standalone Test @Waseda評価ボードを用いて IM のみのテストVME 用 IM → ATCA 用 IM に伴う変更点の動作確認を行った

PC で読み出し

↓ 評価ボード

Kintex7 FPGA

Spartan6 FPGAs

IM でデータ作製↓

FMC コネクタを介して LVDS 320MHz で output↓評価ボードで reference と比較し、 PC で読み出し

データ読み出しの様子

IM が送信するデータ : X”888…8”→ X”444…4” → X”222…2” → X”111…1” →..

DATA (2進数表示)

16 進数1

1

1

1

1

データ読み出しの様子

IM が送信するデータ : X”888…8”→ X”444…4” → X”222…2” → X”111…1” →..

DATA (2進数表示)

16 進数8

8

8

8

8

データ読み出しの様子

IM が送信するデータ : X”888…8”→ X”444…4” → X”222…2” → X”111…1” →..

DATA (2進数表示)

16 進数4

4

4

4

4

データ読み出しの様子

IM が送信するデータ : X”888…8”→ X”444…4” → X”222…2” → X”111…1” →..

DATA (2進数表示)

16 進数3

2

2

2

2

3 になってしまう 立ち上がりが早い320MHz では output 全線を同一の Clock phase で読み出すのは困難それぞれの線ごとに読み出す Clock phase を変えることも可能だが、、、

　　　　　 Output プロトコルを最適化frequency 320MHz 200MHz DDR

output 線 LVDS 3lines LVDS 4lines

clock あたりの bit数 3bits 8bits

1word あたりのclock 数

8clock で1word(24bits)

4clock で1word(32bits)

DF( 評価ボード ) との clock の同期方

法IM 内で

delay tuning Clock を送信

~finalize

200MHz DDR でラッチすることで、 FPGA 内での線ごとの配線の差が減少→→ データ読み出しに成功

DATA (2進数表示)

16 進数4

4

4

4

4

データ読み出しの様子

IM が送信するデータ : X”888…8”→ X”444…4” → X”222…2” → X”111…1” →..

DATA (2進数表示)

16 進数2

2

2

2

2

データ読み出しの様子

IM が送信するデータ : X”888…8”→ X”444…4” → X”222…2” → X”111…1” →..

DATA (2進数表示)

16 進数1

1

1

1

1

データ読み出しの様子

IM が送信するデータ : X”888…8”→ X”444…4” → X”222…2” → X”111…1” →..

DATA (2進数表示)

16 進数8

8

8

8

8

データ読み出しの様子

IM が送信するデータ : X”888…8”→ X”444…4” → X”222…2” → X”111…1” →..

13/09/20 　日本物理学会 2013 年秋期大会 9

Test @FNAL

Mini backplane

PC で読み出し

• IM-DF 間のコミュニケーションテスト• ATCA に実装する代わりに Mini backplane からの電源供給にてテスト

IM でデータ作製↓

DF 内の reference と比較↓

μ controller 、 Mini backplane を介して、 PC で読み出し

裏には μ controller がIM-DF初接続の記念すべき瞬間 !!

2013,8/29Fermilab High-rise 10F にてデータ読み出しの様子

IM が送信するデータ : X”aaa…a”→ X”555…5” →..(200MHz : 1clock あたり 5ns)

good

bad

Clock を 5/16 ns遅らせて読み出し

good

good

bad

bad

bad

bad

さらに、 5/16 ns遅らせて読み出し

bad

bad

Clock を 5/16 ns遅らせて読み出し

bad

bad

good

good

good

good

さらに、 5/16 ns遅らせて読み出し

→ データの読み出しに成功ATLAS で使用するエレクトロニクスの要求： Error Rate < 10-16 をクリア

13/09/20 　日本物理学会 2013 年秋期大会 10

量産に向けた最終テストスタンド構築@Waseda

• Clustering FW を実装しての、データフローテスト疑似ヒット送信モジュール → IM → DF(ATCA) → PC• 現在は、 Mini backplane でのテストを行っている

Input の動作確認を行った後、 DF(ATCA) でのテストに移行M

ini backplane

PC

疑似ヒット クラスター化PC

ATCA

疑似ヒット送信モジュール

Run control で制御

DF

13/09/20 　日本物理学会 2013 年秋期大会 11

Test @CERN• ATLAS のトリガーフロー本流に干渉しないように、 Pixel/SCT の一部領域の実データを受け取って、実際の運転環境での FTK 動作テストを行う• 並列処理における単一の処理単位系でのテスト（ Vertical Slice ）• 昨年末、 VME 用 IM ではテスト済

疑似ヒット送信モジュール

IM

疑似ヒット

読み出しクラスタ情報

IBL/Pixel/SCT

実ヒット

η-φ Tower へクラスタ情報

最終テストスタンド @Waseda Test @CERN

DF

IM

13/09/20 　日本物理学会 2013 年秋期大会 12

今後の予定2014 2015

LHC シャットダウン (増強 ) 13(14) TeV Run

IM

• 次期 IM設計・製造• 量産に向けて、最終テストスタンドの構築

• 最終版 IM の量産• Quality Control

インストール・運用• Test @CERN (with IBL ROD & ATCA)• Quality Control を整備

• 開発は戦略的かつ段階的に行っており、順調である• IM-DF テストを行った @FNAL

– 読み出しに成功、エラーレート < 10-16

– IM-DF 間の通信プロトコルを決定• IM量産に向けて、最終テストスタンドの構築を開始@Waseda• SCT, Pixel の FW も作成中• 次期 IM （〜最終版）のデザインを開始• 年内に IBL ROD & ATCA を含めたテストを行う予定@CERN• IM の量産に向けた QC を整備する• 年度内に最終版を決定・量産へ• QC を終えた後、 2014 年度始めに CERN へ輸送しインストール

1313/09/20 　日本物理学会 2013 年秋期大会

纏めと展望