Network Diagrams of WIDE Backbone€¦ · OSN1800 eth5/2 eth1/4 10GE2/0/1 10GE2/0/0 100GE4/0/2 図5: 根津NOC 7. 2.5 NTT

Network Diagrams of WIDE Backbone

櫨山寛章 ([email protected])

堀場勝広 ([email protected])

上野幸杜 ([email protected])

垣内正年 ([email protected])

岡田和也 ([email protected])

岡村耕二 ([email protected])

井上博之 ([email protected])

宇多仁 ([email protected])

明石邦夫 ([email protected])

小林和真　 ([email protected])

津崎善晴 ([email protected])

中野博樹 ([email protected])

岡部寿男 ([email protected])

Glenn Mansfield Keeni ([email protected])

齋藤武夫 ([email protected])

土井一夫 ([email protected])

松本智 ([email protected])

高橋航平 ([email protected])

畠山元也 ([email protected])

近藤賢郎 ([email protected])

川口慎司 ([email protected])

関谷勇司 ([email protected]) 中村遼 ([email protected])

山本成一 ([email protected])

2016年 1月 31日

1

本ドキュメントでは、2015年の WIDE backbone と各 NOC の現状について述べる。

1 はじめにWIDEバックボーンネットワークは国内はもとより San Fransico, Losangels,

Bangkokなど海外にも拠点（NOC, Network Operation Center）を持つ広大なレイヤー 2およびレイヤー 3ネットワークである．WIDEバックボーンネットワークは各接続組織の対外接続ネットワークとして活用されるだけではなく，インターネットの新技術を開発している研究者，開発者らの新技術の運用実験の場としても頻繁に活用されている．WIDE バックボーンネットワークの運用はTwo ワーキンググループに参加する各NOCの運用者による定常的な運用に支えられている．本年度のTwo ワーキンググループの活動報告として，WIDEバックボーンネットワークの運用報告を行い，別立てとしてバックボーン 100G化についても詳細に報告する．最後に今後のWIDEバックボーン運用についての展望を述べる．

2

2 WIDEバックボーンの運用本節では，WIDEバックボーンの各拠点での 2014年 12月 31日から 2015年 12

月 31日までの運用報告と 2015年 12月 31日現在のWIDEバックボーンのネットワーク構成を報告する．図 1は 2015年 12月 31日現在のWIDEバックボーンの概略図である．

via SINET

via SINET

100Gbps

図 1: WIDEバックボーントポロジ

3

2.1 San Francisco

サンフランシスコNOC(sanfrancisco)は，2004年 4月からそれまでの sanjoseに代わり稼働した新しいNOCで，Los AngelesからOC-3により接続されていた．その後 OC-3 から 100M Ethernet に変更された．主な接続先は，PAIXや ISC である．2010年 9月の Los Angeles NOC 撤収にともない，2010年 10月に Los Angeles

と San Francisco 間の回線も廃止され，専用線による接続の無い独立 NOC として存在する．2013年は M-ROOT 関連の機材更新があったが、WIDE SFO NOC としての構成変更は無かった。2014年も、JP DNS 関連の機材更新があったが、WIDE SFO

NOC としての構成変更は無かった。2015年は，特に大きな変更点や障害も発生しなかった．

catalyst1.sanfrancisco

hitachi1.sanfrancisco

pc4.sanfrancisco

Layer1/2

wm2

e2/0 e2/3

PAIXISC

e2/2e2/1

e0/0

wm1

VLAN6667101

VLAN110111113

VLAN 66

VLAN13

e0/2 e0/3

SFO-E-DNS-JP

wm0RAC

e.sfo-rtr

As of 2015/12/31

pc5.sanfranciscoFa0/12

Fa0/1

Fa0/7

Fa0/17

Fa0/21 Fa0/18 Fa0/22

Fa0/5

Fa0/15

RAC

eth0

図 2: San Francisco NOC

4

2.2 仙台

仙台 NOC は仙台周辺の拠点を収容する NOC として運用されている．接続回線の計画断以外の障害や停電もなく，安定して運用された．NOC 内のトポロジーに変更はなかった．

• (2014/12/04-06) 収容ビル停電に伴う回線断

brocade1.nezu

.26

::a

em0

pc10

::8 .24

2001:200:0:1C07::/64

2001:200:0:7000:/64

203.178.138.16/28

.21

::5

pc5em1FastEthernet0

FastEthernet1

cisco1VLAN311

::82001:200:0:7F0:/64

pc13

.29

::d.19

::3

pc3

Cyber Solutions Inc.

em0

em3

brocade1.nezu

203.178.136.180/30

図 3: 仙台 NOC

5

2.3 筑波

筑波NOCは筑波大学学術情報メディアセンター内に設置されている，システム情報工学研究科産学間連携推進室をはじめとする周辺の研究組織を収容している．株式会社ソフトイーサと共同で、グローバル・固定 IPv6 アドレス割当型トンネル接続実験サービス (v6ip.tsukuba.wide.ad.jp)を運用しており、2012年にはDNS64/NAT64による IPv4ネットワークとの相互接続の試験運用も開始した．

• (2015/04/15) 落雷による瞬電により全断

• (2015/05/29) NTT大手町NOC機器交換メンテナンスにつき全断

• (2015/08/06) VMM障害により、一部サービスの停止

• (2015/10/24) 電気事業法に基づく電気設備の定期点検のため停止

• (2015/10/25) 同上・復電時に再度コアスイッチに障害発生・同日復旧

WIDE

(cisco2.notemachi)

Univ. Tsukuba

v6ip over PacketiX

2001:200:1c8::/48

v6ip.tsukuba

cisco3.tsukuba (Cat6506)

cisco1.tsukuba (Cat6509)cisco2.tsukuba

(Cat6506 with sup720)

筑波大学学術情報メディアセンターCA101 NOC

203.178.132.64/26

2001:200:0:7c06::/64

WIDE OSPFv3 area 0.0.0.0

ns1.tsukuba ns2.tsukuba

生活線

vlan tagged area

vlan tagged area

1G*4 PAgP

vlan tagged area

1G*4 PAgP

vlan 2045 via

SINET 1Gbps

nat64.tsukuba

nat44.tsukuba

dns64.tsukuba

図 4: 筑波 NOC

6

2.4 根津

根津 NOC は，WIDE 関東地区の重要な接続拠点として，東京大学，JGN-X，SINET 等との接続を行っている．また WIDE クラウドの拠点としても重要な機器が設置されている．2015年は Huawei Technologies 社の機器が導入され，対外接続が 100GbE 化された．

• (2015/04/29) foundry4.nezu IPv6 不調発生により brocade1.nezu に一部切り替え

• (2015/05/11) Huawei NE5000 機器設置

• (2015/05/13) Huawei CE12804 機器設置

• (2015/05/15) 根津 - NTt-C 大手町間回線を 100G に移行

• (2015/11/12) Huawei OSN1800 機材設置

• (2015/11/19) 根津 - 矢上間回線を 100G に移行

eth48eth2/12

U-TOKYO

Sekiya-LabDataReservoir

pc7.nezufoundry3.nezu

YAGAMI As of 2015/12/17

MAWI-storage

JGN2-BI4K-eth1/5

JGN2-GS4K-eth4/1foundry4.nezu

eth5/4

eth4/2

Otemachi

eth5/3

JGN2 GS4K

foundry5.nezueth3/9

U-TOKYO

To x448-n7f@NTT otemachiU-TOKYO

foundry1.hongo

eth3/3eth1/1

foundry1.nezu

eth1/7

eth1/6

gulliver.nezu

eth1/2eth1/3

foundry7.nezu

eth1/5

eth1/8

mawi.nezu eth2/4

eth2/13

eth2/2

eth7/4

a10.nezu

vm1.nezu

vm2.nezu

vm4.nezu

U-TOKYO

INFOTREND

eql.nezu

eth1/1/{11,14,16,20}

eth1/1/{17,21}

eth1/1/{18,22}

eth1/1/24

eth1/1/8

eth1/1/{1,19}

eth1/1/5

sekiya-esxi.nezu eth2/11

tongari.nezu eth4/24 new-mawi.nezu

NAKAYAMA

vm5.nezu

eth2/2

eth2/3

Kato-Lab

eth1/1/4

eth1/1/7

eth2/9eth2/10eth2/16

eth4 eth3 eth17

eth2/14

solana.nezu

eth2/1

eth2/6

ironport2

eth2/7

eth2/8

eth5/1

brocade1.nezu

eth1/7

NECOMAeth1/2

eth1/3

foundry8.nezu

eth2/8

eth2 eth13

U-TOKYO (Q-in-Q)

eth48

eth4/23

JGN2-GS4000eth4/24

eth2/15

huawei1.nezu

huawei2.nezu

OSN1800

eth5/2

eth1/4

10GE2/0/1

10GE2/0/0

100GE4/0/2

図 5: 根津 NOC

7

2.5 NTT 大手町

NTT大手町 NOC(notemachi)は，1999年終りから稼働した NOCで，現在，関西方面，北陸方面への L2 網，JGN-X ，APAN-JP の接続拠点として重要な立場にある．また，日本のインターネットトラフィック交換の 1拠点として，DIX-IE ，T-LEX を設置し ISP および学術研究 NWを収容している．2015年度は T-LEX

の 100GbE 版である，T-REX (Tokyo Research and Education eXchange) が発足した．

• (2015/01/26) cisco2.notemachi メモリ不足により再起動発生

• (2015/04)機器撤去 (juniper m20,foundry NI40G,cisco ONS15454)、機器設置

• (2015/05/01) huawei1.t-lex (NE40E-X8A) をインストール

• (2015/05/15) notemachi = nezu 間の回線を 100GbE に移行

• (2015/05/28) ntt.netへのルーティングポイントを c2.notemachiから j1.notemachi

に移設

• (2015/06) Interop 2015 Tokyoと 100GbE 回線で接続

• (2015/11) 東京大学DRチーム、SC15でのデータ転送実験他を実施

• (2015/11) ORF2015 (慶大 SFC Open Research Forum 2015) デモのため六本木ヒルズまでの 100GbE 回線一時接続

• (2015/12/10) notemachi = NAOJ 新たに DF 2対開通

• (2015/12/24) huawei1.t-lex 故障モジュール交換

8

foundry1

pc1.t-lex

f2.ote

1/4

1/7

rt50i

2/5

clk

2/6

3/3

1/5

3/1 3/2

DR-HIRAKI

1/7

apan

1/8

NTT-EASTMETRO-ETHER

2/13

2/12

gmx1004

2/18

cisco2

taishitakomatsu

3/2 2/3

f6.ote1/2

5/1 5/2

{1,2}/3

As of 2015/12/31

2/8

2/9melco1

2/15fe3miyakawa-sw

2/24

miyakawa-sjc

tehe

1/4 JGN-XNTT otemachi

ASCC:GMX-B2

4/14

cat3512-MII

0/1

SX

7/35

mawinotemachi

4/15

A7A01224N

4/64/7

JAIST-shinagawaIPv4-kokatsuTF

2/2

KEIO-DMC

0/60/12

soumH-Cable

xfow-collector 7/12

7/7

7/3

7/2

SINET

1/6

traceback-verio 7/10

3/1

NAOJ

UNISYS

7/8

RIPE/NCC(A4C)

3/4

1/2

1/14/4

bge1

pc1

2/3meisei-u1/6

2/4

StarPorte

juniper1

7/6

0/0/0

0/0/1

2/1

2/2

1/1/9

foundry2.t-lex

foundry3.t-lex

huawei1.t-lex

NAOJ

2/0/0

CENIC:MLX

3/1/0

huawei2nezu

3/0/0

2/1/00/0/0

図 6: NTT 大手町 NOC

9

2.6 KDDI 大手町

KDDI 大手町 NOC は WIDE バックボーンの中でも中核を担う重要な NOC となっており，外部組織接続が最も多い NOC となっている．10GbE によるバックボーンが導入され，NTT大手町 NOCとの連携がより強まり，WIDEから DIX-IE

への接続拠点となっている．

• (2015/02/27) notemachi 構成変更にともなう f6.ote PIM 不調発生

• (2015/06) f6.ote JGN 接続変更 (ONSからAX66)

• (2015/06) Interop Tokyo 2015 100GbE 回線を一時的に収容し，T-REX への接続を中継する

NEZU(f4.nezu-e2/4)

e2/4

CUC

e1/1

NTTOtemachi

(c2.note-Ten2/3)

(f1.riho-m)

e1/2

foundry6

TITECH

e1/3

MIRAIKAN

e1/4

alala1

e2/1

Ten0/1

Ten0/0 DIX-IE

TsukubaWAN

e8/1

APAN(ms3-e1/3)

GRAPEAPAN

e8/7 e8/8

WIDE KDDI Otemachi NOC

cisco7Gi0/0/0

Gi1/0/0

e8/17

hitachi1

e8/22e8/3

foundry21/2

foundry1

2/15

Otemachi23F

1/3

KDDILAB

2/2

VoIPgate

2/3

CUC

2/4

toyaku.ac.jp

2/18

SonyCSL

2/102/16

JSAT

2/17

NICTNAG

3/6

JPRSIPv6

2/19

2/22

dgre

pc10

pc13

pc15

Otemachi 9F

3/1

NTTOtemachi

(f1.note-e1/4)

GMX

3/7

APANfor AI3

3/8

4/5

risingsun.isc

wireless

4/72/0-3

KeioMITA

4/20

NIHONUniv.

detector

4/17

cyclades1

y6

RouteViews

4/3

AI3-PC

4/12

new-y.ip6.int

4/23

PCH-Server

4/21

APNIC-Cyclades

4/15

4/44/14

e4/8-11 GbE2

GbE1

DIX-IE

GbE3

cisco1

e26e7

e9e1 fa1/0/0

e0/0e0/4

DNS IMnet

2015/12/31

foundry7

e8/33

e49

pc18

e3

mirror

e47

e8/34

alaxala2

g0/1

pc17

e33

SEIJO(a1.seijo-Ten0/25)

Ten0/2

allied1

e8/2

M-LAB

JGN-X

e2/2

NSPIXP-23

e2/3

IRI

e8/30

e8/39 KDDILabs

vm1

vm2

eql1

4/4

RIPE RCC RAC

図 7: KDDI 大手町 NOC

10

2.7 矢上

矢上 NOC は慶應義塾大学理工学部矢上キャンパス構内にあり，同大学理工学部情報工学科，同大学 DMC 統合研究センターおよび周辺の研究組織を収容している．

• (2015/02/01) yagami == note 直通冗長化セグメント開通 (vlan 40; hiyoshi

== DMC == SINET 経由 T-LEX == note)

• (2015/02/03) yagami-nezu線回線借用 (23:30-24:00，KDDI)

• (2015/03/24) cisco3.yagami (Cat3560) 設置

• (2015/03/31) NTT東メトロイーササービス終了に伴い，東芝線を根津に収容変更

• (2015/04/07) NTT東メトロイーサ終端装置の撤去

• (2015/05/15) vm1.yagami、vtep1.yagami 設置 (vlan6 の vxlan 化)

• (2015/08/15) 矢上キャンパス法定停電 (疎通断無し)

• (2015/08/28) Huawei エンジニアによる site survey (9:30-10:30)

• (2015/08/28) foundry1.yagami 退役

• (2015/09/07) hitachi1.yagami 退役

• (2015/09/09) huawei1.yagami (CE12804) 設置

• (2015/11/05) osn1.yagami、osn2.yagami (OSN1800) 設置

• (2015/11/16) 矢上 NOC上流スイッチを f2.yagami から h1.yagamiに変更，100G開通

11

cisco17400

fujisawa

DMC

pc4

YAGAMI NOC TOPOLOGY (Layer1)

hiyoshi(kyoseikan)

10GE3/0/1

e1/4

alaxala

huawei1CE12804

e1/3

tera-lab

cisco2Cat3560FujiXerox

GE0/25e4/19GE0/26e4/20

GE0/1

GE0/23

GE0/24

west-lab

osn1OSN1800

osn2OSN1800

nezu 100GE4/0/0

100GE4/0/1

foundry2MLX4

e1/1

10G3/0/0

e4/11

vtep1

GE0/19e4/6e4/5

GE0/2

pc6pc5vm1

cisco3Cat3560

GE0/1-48 inl-blade

GE0/27

GE0/49

GE0/20 GE0/21GE0/3

e4/1

図 8: 矢上 NOC Layer-1 トポロジ

YAGAMI NOC TOPOLOGY (Layer2)

vlan160: DMC-INL

vlan191: YAGAMI-ALAXALA

vlan197: Miraikan-Hiyoshi

vlan297: DMC-Hiyoshi-2



vlan491: KMD-Miraikan

vlan900: SEA-LOOP1

vlan901: SEA-LOOP2

vlan1413: DMC-JGN-3thrWIDETLEX

vlan1415: JGN-KMD-201105b

vlan1710: INL-DMC

vlan1712: INL-DMC-2

vlan2132: CineG:UcsdJgnWideDmc

vlan3110: DMC-KMD-3110

vlan3764: NEDU-LA

huawei1

Nezu vlan4: K-N-N-Y-F

vlan6: CLOUD-NAT

vlan21: INL-Local

vlan40: Notemachi-Yagami-P2P

vlan45: Nezu-Yagami-P2P

vlan46: Fujisawa-Nezu-P2P

vlan47: Fujisawa-Nezu-P2P-2

vlan79: CLOUD-EQL

vlan83: orf2015-demo

vlan94: Yagami-Xerox-P2P

vlan97: Miraikan-Hiyoshi

vlan100: yagami NOC

vlan110: Keio-West-WIDE

vlan111: West-Lab-IPv6

vlan150: KMD

vlan151: Kyoseikan

LAG

foundry2

100GE4/0/0 100GE4/0/1

10GE3/0/0

Hiyoshi

vlan46, 47, 83

vlan4

vlan6, 79, 97

vlan197, 297, 298

vlan299, 491, 900

vlan901, 1413, 1415

vlan2132, 3110, 3764

eth1/1

vlan4

eth1/3

eth4/1 eth4/5 eth4/6

eth1/4

eth4/11

vlan150, 151

AlaxalA

FujiXerox

vlan191

vlan94

vlan6, 79, 97

vlan197, 297, 298

vlan299, 491, 900

vlan901, 1413, 1415

vlan2132, 3110, 3764

vlan46, 47, 83

vlan4

Fujisawa

eth4/19

eth4/20

vlan100

vlan110

vlan45

cisco1

vlan100 vlan100 vlan4

vtep1

pc4

LAG

GE0/25

GE0/26

vm1 pc5

GE0/4 GE0/20 GE0/21

GE0/19 GE0/2 GE0/27vlan100

GE0/3

pc6

vlan100vlan6 vlan100 vlan100

vlan6

10GE3/0/1 DMC

LAG

GE0/23

GE0/24

vlan21

GE0/1vlan111

INL

West-lab.

cisco2

cisco3GE0/49

vlan100

GE0/1-48vlan23

INL-blade

vlan1

GE0/1 eth0

eth1

em1 em2 eth0 eth0

eth1

eth0


12

huawei1

foundry2

203.178.141.80/28vlan:100

.90 .91.83 .87Yagami NOC

INL-lab

vlan: 45

vlan:150

vlan:95

vlan: 191

Nezu-Yagami-P2P

KMD

FujiXerox

ALAXALA

vlan: 151

Kyoseikanvlan:110

Keio-West-WIDE

.92 .88 .89

vlan: 21

West-labvlan: 111

INL-bladevlan: 23

.93

vlan: 40

Yagami-Note-P2P pc4

pc5

pc6

vm1

vtep1

cisco2

cisco3

.84


13

2.8 藤沢

藤沢NOCは慶應義塾大学湘南藤沢キャンパス内にあり、慶應義塾大学や村井研究室の他、周辺の研究組織を収容している。同時にW3CやAI3との接続、VoIP

関連サービス、外部研究組織のトラフィック計測サーバの設置及び接続性の提供などを行っている。

• (2015/01/16) 防衛大学側接続機器のリプレース対応実施

• (2015/03/09) JGN-X実験プロジェクト用VLANをVxLAN上にて収容 (VLAN3665-

3667)

• (2015/04/20) cisco3.fujisawa故障に伴い foundry1.fujisawa(MLX)にリプレース

• (2015/09/10) Huawei OSN1800及びCloud Engine 12800導入

• (2015/11/02) pict3.fujisawaのメンテナンス作業実施

• (2015/11/18) ORF会場への中継デモのため矢上-藤沢間を 100Gbase-LR4に収容変更

• (2015/12/09) AI3コアルータ故障のため、Cisco 2800 2台をAI3へ貸与

• (2015/12/20) Cloud Engine 12800と juniper1-2.fujisawaを直結

14

Fujisawa NOC Layer2-topology2016/1/13 by eden

huawei1.yagami huawei3.fujisawa

vlan4vlan46vlan47

juniper1.fujisawa juniper2.fujisawa

10GE3/0/0

xe-0/0/0

10GE3/0/1

xe-0/0/0

foundry3.fujisawa foundry5.fujisawa

xe-1/0/0 xe-1/1/0 xe-1/0/0 xe-1/1/0 xe-0/0/1

vlan105vlan104vlan103vlan100

xe-0/0/1


vlan71vlan140

vlan88vlan141

vlan112

xg-0/0/1 xg-1/0/1

Notemachi-P2P

foundry2.fujisawa

eth3

W3C eth4

Sanno-Univ eth9

juniper1.sfc eth11

vlan100

voip-gw1 eth43

c3800.ai3 eth44 vlan31vlan49

SOI-switch eth17vlan501

vlan100 vlan100

pict1 eth18

pict2 eth25

pict3pict4 eth5

pict5 eth28

sh.wide eth10

mcast eth26

eth30

Nara-evlan eth4/11

vm1.fujisawa

vlan105vlan106vlan6

eth4/1

vm2.fujisawa

vlan105vlan106vlan6

eth4/7

nec1.fujisawa eth4/14

nec2.fujisawa eth4/12

hitachi3.f eth1/2

detr.fujisawa eth4/17

eth4/13

vlan110

pxtr.fujisawa eth4/18

xtr.fujisawaeth4/20

eth4/19

vlan105

vlan106vlan109

vlan109

vlan109

vlan110

vlan105

-eth4/5

-eth4/9

vlan47vlan4vlan46

AI3-satellite vlan205eth3/8vlan31vlan49vlan140

K2 eth3/9 vlan103

alaxala3.sfc eth2/1

foundry6.f eth3/1

sfc-gate2.ai3 eth3/4 vlan141vlan100

traceback eth3/5

sfc-gate.ai3 eth3/23 vlan140

pc4 eth3/2

ge-0/1

alaxala1.fujisawa

SOI-ITC ABF-57-5-17 ge-0/2 vlan150

SOI-Shochositsu ge-0/9 vlan150

ISI-Pinger

vlan107ge-0/6ge-0/7ge-0/8

vlan100

vlan107vlan150

KEIO-ITC KEIO-SFC KEIO-ITC KEIO-SFC

100GE4/0/0100GE4/0/1

vlan88

vlan103

vlan112

vlan104

vlan100

vlan100

vlan104

vlan104

vlan100

vlan100

vlan6

vlan71

vlan100

vlan100vlan6

vlan100

huawei1.fujisawa

xg-0/0/2-xg-1/0/2

eth49-50

xg-0/0/4-xg-1/0/4

eth1/1-eth-1/2eth-1/1-eth1/2

xg-0/0/3-xg-1/0/3eth-trunk0 eth-trunk2eth-trunk1

lag1

UCS eth47-48

vtep1 eth33

eth34

vlan501vlan100


vlan6vlan31vlan49

eth-3/3



vlan6vlan31


vlan71

vlan105

vlan31

10GE3/0/23

cisco3.fujisawa eth21 vlan100ge-1/2

mawi eth24 vlan104

vlan106

vlan106

vlan130

Flets ONU eth31 vlan130

voip-vpn vlan100

vlan103

eth7

eth8

vlan106

vlan106

vlan4vlan46vlan47vlan71vlan88

vlan100vlan103vlan104vlan105vlan106

vlan6vlan31vlan49vlan112vlan130vlan140vlan141

KNNYFNezu-Fujisawa-P2P-1Nezu-Fujisawa-P2P-2Nara-Fujisawa-P2POtemachi-Fujisawa-P2P

Fujisawa-1-netFujisawa-3-netFujisawa-4-netFujisawa-cloudFujisawa-v6exp

WIDE-CLOUDAI3(NDNKF)APAN-AI3Sanno-UnivFujisawa-NGNAI3-BGP-2AI3-BGP-1

mawi

図 11: 藤沢NOC Layer-2 トポロジ図

15

[KNNYF]203.178.138.224/272001:200:0:1c04::/64

.249

xe-0/0/0.4 xe-0/0/0.46

[NEZU P2P]203.178.136.92/302001:200:0:13::/64

.94

[FUJISAWA-1.net]203.178.137.64/272001:200:0:1001::/64.67

[FUJISAWA-3.net]203.178.141.224/272001:200:0:1003::/64

[FUJISAWA-4.net]203.178.138.96/272001:200:0:1004::/64

.227

.114

[KEIO-ITC] xe-1/1/0

[KEIO-SFC] xe-1/0/0

[KEIO-ITC] xe-1/0/0

[KEIO-SFC] xe-1/1/0

.81 foundry1.fujisawa

cisco6

.232

fa0

serial0[NDA]

.83 lisp

.78 niph-vrrp

.231 cisco12(gatekeeper)

.82 nec1

.93 envmon1

.69 pc1(mcast)

[FUJISAWA-Cloud]203.178.138.64/282001:200:0:1005::/64

.68 pxtr

.70 xtr

.71 detr

.66 vm1

.67 vm2

.85 pc10(old sh.wide)

.80 pc4(internetits)

.84 pc5(moca)

.71 cnrs-wide

.74 foundry2

.87 alaxala3.sfc

.88 juniper1.sfc

.91 nec2

.92 hitachi3

.104 mawi

.110 exp1

.111 exp2

.113 pict1

.115 pict3

.118 pict4

.116 sh-rac

.124 gma1

.126 pict5

alaxala1

.79

vlan107

vlan150

[ISI]203.178.148.16/28[SOI]203.178.140.97/27

vlan100

juniper1

[NAIST evlan]203.178.136.204/302001:200:0:15::/64

xe-0/0/1.100 xe-0/0/1.105

.72

.66

xe-0/0/1.103 xe-0/0/1.104

.239

.103

Virtual IP = .65

Fujisawa NOC Layer3-topology2016/1/13 by eden

xe-0/0/0.47

[NEZU P2P-2]203.178.136.188/302001:200:0:16::/64

.190xe-0/0/1.88

[NOTEMACHI P2P]203.178.136.192/302001:200:0:17::/64

.194xe-0/0/1.71.190

xe-0/0/1.100 xe-0/0/1.103 xe-0/0/1.104

Virtual IP = .225

Virtual IP = .97

xe-0/0/1.105

.73

Virtual IP = .65

juniper2

[AI3-2]xe-0/0/1.141

[AI3-1]

xe-0/0/1.140

.86 foundry5.fujisawa

[SANNO-UNIV] xe-0/0/1.112

.98 pc39

.99 im

.100 cucm

.101 vmware

.102 ucs-management

.107 ai3

.108 traceback

.109 voip-gw1

.117 pict-management

.226 necoma-spam

.228 vpn2

.229 vpntrans

.230 pc40

.235 alaxala2

.237 cisco10

.240 cisco11

.75 huawei1

.76 huawei1(reserved)

.90 vpn1

[FUJISAWA-v6exp]203.178.149.0/252001:200:0:1006::/64.2 .3

xe-0/0/1.106 xe-0/0/1.106

Virtual IP = .1

.69 vtep1

図 12: 藤沢NOC Layer-3 トポロジ図

16

2.9 小松

小松NOCは北陸先端科学技術大学院大学 (JAIST / 石川県能美市)内に設置されたNOCであり，同大学，NICT 北陸 StarBED技術センター (通称: StarBED)

等への接続を収容している．NOC間接続として関東および関西方面に対し複数のリンクを持ち，東阪間リンク障害時の迂回経路としての役割も担っている．

• (2015/03/14) 08:00–17:00 JAIST 全学停電に伴うサービス停止．

JAIS

T

Cisco 3(Cisco7609)

Vlan801

Vl999(Gi3/1)

Po1(Gi1/1,2/1)

SINET3

Po5(Gi3/33)

Gi3/26Gi3/25

Star

BE

D

Cisco7609@StarBED

Cisco 2(Cisco6509)

Notemachi(Taishita-monda)

Te2/2nezu, dojima, fukuoka (JGN-II)

Vl62@Te1/1

Vlan3705,3724,3744

Te1/3

Vl800@Po2(Gi1/2)

Te1/4

WNOC KomatsuIn Japan Advanced Institute of Science and Technology,

Nomi, Ishikawa, Japan.

Vl800@Po2(Gi4/1)

Gi4/3

DISTIX

Juniper1(Juniper M5)

GbE0/0/0

GbE0/1/0

Te1/3

203.178.138.168/30

.170

ct65a.jaist(Cisco6509)

ct65b.jaist(Cisco6509)

Te1/4

Te1/4

ftp

Po101(Gi3/41-48)

(Gi3/41-48)Po2

Po2(Gi3/41-48)

.174

203.178.138.172/30

Po101(Gi3/41-48)

150.99.196.186/30

150.99.196.190/30

.169

203.178.138.64/28

.65

203.178.146.80/28

.93

pc1

pc4

203.178.138.208/29

.211

.210

203.178.136.242/30

.173

図 13: 小松 NOC

17

2.10 堂島

堂島 NOCは，WIDEプロジェクトのネットワークにおける西日本のコア拠点となっている．NTTテレパーク堂島第 1ビルと第 3ビルに拠点を構え，NTT大手町NOCとともに 10GigabitEthernetバックボーンの 1点を担ったり，大阪における学術 IX(NSPIXP3)拠点を担ったりしているNOCである．また，第 3ビル内において JGN や SINET とも接続し，西日本方面の多数のNOCとリーフサイトを収容している．ルーティングポイントの cisco2.dojimaから juniper1.dojima,

crs1-1.dojimaへの移行を進めている．

• (2015/1/15)根津（SINET）接続 IPv4終端をbrocade1.nezu–foundry4.dojima

から foundry4.nezu–juniper1.dojimaに収容変更

• (2015/3/13) 倉敷接続を cisco5.dojimaから foundry5.dojimaに収容変更

• (2015/4/16) CKP，倉敷（JGN-X）接続 IPv4/IPv6終端を cisco2.dojima

から juniper1.dojimaに収容変更

• (2015/9/7) 小松接続 IPv4終端を juniper1.dojimaから crs1-1.dojimaに収容変更

18

図 14: 堂島 NOCトポロジ

19

2.11 奈良

奈良NOCは奈良先端科学技術大学院大学内にあり，大学およびNOC周辺の研究組織を収容するとともにAI3と接続している．また，Debian JP等の公式ミラーを始めとする 10以上のミラーを提供するFTPミラー (ftp.nara.wide.ad.jp) をサービスしている．

• (2015/10/18) NAIST法令停電

• (2015/10/5) ftp.nara.wide.ad.jp/ftp.naist.jpサーバリプレース

20

図 15: 奈良 NOC Layer-2 トポロジ

図 16: 奈良 NOC Layer-3 トポロジ

21

2.12 左京

左京NOCは京都およびその周辺に存在する組織に対する接続拠点であり京都大学に設置されている．

図 17: 左京 NOC

22

2.13 倉敷

倉敷NOCは，平成 24年度に学内ネットワーク機器の更新にともないNOC機器の更新など全体構成の変更を実施した．平成 27年度は対外回線の変更があったため、平成 27年 3月 13日に回線切替を行った。外部接続回線を収容していたGS4K

はASR9Kに更新し，対外的な L3ルータのうちGR4Kを Juniper MX80に更新した．基本的な接続設定は，従前の装置の設定を踏襲している．また，倉敷NOC機器については，死活監視ツールで監視を行っているが特に大きな問題もなく運用されている．

Kurashiki-NOC

Tamashima TeleCast

OKIX-NOCKUSA-POP

Kurashiki city

RX4

AlaxalaAX2400

KUSA

asr9k

kusaBBVLAN

cat3750

mx80

Biseiastronomical observatory

Bisei space guard center kake.ac.jp

kyudai

JGN2

Dojimacisco2.dojima

okix.1

vlan 161

10Gigabit Ether

.210 .1

203.178.136.140/30vlan 3741

Gigabit Ether

203.178.142.176/28

.2

202.244.161.0/24

202.244.160.3

202.244.161.5

.10

vlan 3567202.244.160.0/24

.142

vlan 3727203.178.136.208/3 0

.10

Catalyst65-L2

cisco 1700

100M Ether

203.178.145.144/28

ATM

vlan 100

vlan 200

.185 203.178.145.184/29

.29

.177

GR2K2B+

203.178.136.176/30NTT com10G

.178

Configration of Kurashiki-NOC17Dec 2012 14:20JST

Kazumasa Kobayashi<[email protected]>Takashi Miyake<[email protected]>

.145

図 18: 倉敷 NOC

23

2.14 広島

広島NOCは，トポロジー図に示すとおり，大阪NOCと福岡NOCの中間に位置しており，WIDEバックボーンに対して大阪～福岡間の冗長性も同時に提供している．ソフトウェアルータによる運用を 2012年より続けており，Xen Hypervisor上で動くVM（Virtual Machine）であるVyatta Routerを使用している．また，ローカルサービス用の Linuxサーバも，同じVMとして動作させている．VMとしての運用による問題はこれまで生じておらず，パフォーマンス，安定性ともに高い性能を維持できている．大阪NOCと福岡NOCの接続には JGN-XのVLANを経由しており，さらに地域プロバイダである SuperCSIを経由し，また設置場所である大学内もまたVLAN

を経由して接続している．よって，各接続点での L2 SWは経路的に冗長化されておらず，運用上の注意が必要である．

• (2015/09/13) 法令点検による計画停電

WIDE Hiroshima NOC

Xen Hypervisor

Vyatta

Software

Router

Local

Servers

Fukuoka

NOC

Dojima

NOC

203.178.136.144/30

eth1

203.178.138.177/28

management

eth2eth0

203.178.136.200/30

2001:200:0:3000::/64

.202

.145

.65

::1

updated: 2014/06/16 [email protected]

図 19: 広島 NOC

24

3 福岡福岡 NOC では，日立 GR2000 をコアルータとして運用を行なっている．支線は 2つあり，それぞれ帯域を必要としないローカル実験用の 100Mbps のセグメントと，グローバル実験用の 1Gbps のセグメントである．ローカル実験用の経路情報は現在，インターネットには広告していない．なお，現在福岡 NOC の設置してある九州大学情報基盤研究開発センター棟は

2016年 10月より伊都キャンパスへ移転することが決定しているため，遅くとも2016年度の前期には福岡 NOC をどのようにするか決定し，処置する必要がある．

図 20: 福岡NOC

25

3.1 バンコク

2007年 5月 15日に設置されたバンコクNOCは，NECTECやUniNETといったタイの学術研究組織との研究活動強化を目的に設立された．今年度も引き続き，WIDEプロジェクトとしての独自の回線は存在しないが，JGN-Xの回線を利用し，VLANを用いてWIDEインターネットをバンコクまで延長し，IPv4，および IPv6

の接続性を提供している．バンコクNOCは，JGN-Xバンコク回線を収容しているNECTECと同じ建物に存在し，そこからUTPケーブルを延伸し，バンコクNOC

が存在する部屋にネットワークを引いている．バンコクNOCの主な利用者は，バンコクを中心に活動している SOI Asiaプロジェクトのメンバーである Patcharee

Basu，および関係者になる．2013年1月に故障したルータ (pc1.bangkok)の代替として、2013年10月に yamaha

rtx810 が設置され、接続性が回復した。

• 2015年は構成変更や障害等はなかった．

cisco2.notemachi

Yamaha RTX810

polycom PC PC

203.178.138.145/282001:200:0:6009::1/64

203.178.138.146/282001:200:0:6009::2/64

203.178.140.65/272001:200:0:a800::1/64

JGN-X:WIDE-BKK(622Mbps)

図 21: Bangkok NOC

26

4 おわりに本年度もWIDEバックボーンネットワークの安定運用を行ってきた．来年度は，

100Gバックボーンの本格運用や 100Gバックボーン上での実験を精力的に行っていく予定である．

5 CopyRight

c⃝2015 WIDE Project Two Working Group

27

Documents

Network Diagrams of WIDE Backbone€¦ · OSN1800 eth5/2 eth1/4 10GE2/0/1 10GE2/0/0 100GE4/0/2 図5: 根津NOC 7. 2.5 NTT