Upload
others
View
1
Download
0
Embed Size (px)
Citation preview
Network Diagrams of WIDE Backbone
櫨山寛章 ([email protected])
遠峰隆史 ([email protected])
近藤賢郎 ([email protected])
中島博敬 ([email protected])
鈴木恒平 ([email protected])
沖幸太朗 ([email protected])
小林茉莉子 ([email protected])
垣内正年 ([email protected])
井上博之 ([email protected])
宇多仁 ([email protected])
明石邦夫 ([email protected])
小林和真 ([email protected])
津崎善晴 ([email protected])
中野博樹 ([email protected])
岡部寿男 ([email protected])
Glenn Mansfield Keeni ([email protected])
齋藤武夫 ([email protected])
土井一夫 ([email protected])
松本智 ([email protected])
高橋航平 ([email protected])
畠山元也 ([email protected])
堀田幸暉 ([email protected])
吉川かなえ ([email protected])
関谷勇司 ([email protected]) 中村遼 ([email protected])
山本成一 ([email protected])
2017年 1月 31日
1
本ドキュメントでは、2016年の WIDE backbone と各 NOC の現状について述べる。
1 はじめにWIDE バックボーンネットワークは国内はもとより San Fransico, Bangkok など海外にも拠点(NOC, Network Operation Center)を持つ広大なレイヤ 2 およびレイヤ 3 ネットワークである.WIDE バックボーンネットワークは各接続組織の対外接続ネットワークとして活用されるだけではなく,インターネットの新技術を開発している研究者,開発者らの新技術の運用実験の場としても頻繁に活用されている.WIDE バックボーンネットワークの運用は Two ワーキンググループに参加する各 NOC の運用者による定常的な運用に支えられている.本年度の Two ワーキンググループの活動報告として,WIDE バックボーンネットワークの運用報告を行う.また,100Gbps 回線に基づくバックボーンネットワークの運用について特集ページ「100Gbps 級のネットワークの展望」に詳述する.最後に今後の WIDE
バックボーン運用についての展望を述べる.
2
2 WIDEバックボーンの運用本節では,WIDEバックボーンの各拠点での 2015年 12月 31日から 2016年 12
月 31日までの運用報告と 2016年 12月 31日現在のWIDEバックボーンのネットワーク構成を報告する.図 1は 2016年 12月 31日現在のWIDEバックボーンの概略図である.
via SINETvia SIN
ET
100Gbps
図 1: WIDEバックボーントポロジ
3
2.1 San Francisco
サンフランシスコNOC(sanfrancisco)は,2004年 4月からそれまでの sanjoseに代わり稼働した新しいNOCで,Los AngelesからOC-3により接続されていた.その後 OC-3 から 100M Ethernet に変更された.主な接続先は,PAIXや ISC である.2010年 9月の Los Angeles NOC 撤収にともない,2010年 10月に Los Angeles
と San Francisco 間の回線も廃止され,専用線による接続の無い独立 NOC として存在する.2013年は M-ROOT 関連の機材更新があったが、WIDE SFO NOC としての構成変更は無かった。2014年も、JP DNS 関連の機材更新があったが、WIDE SFO
NOC としての構成変更は無かった。2016年は,2015年と同様特に大きな変更点や障害は発生しなかった.
cat1.sanfrancisco
hitachi1.sanfrancisco
pc4.sanfrancisco
Layer1/2
wm2
e2/0 e2/3
PAIXISC
e2/2e2/1
e0/0
wm1
VLAN6667101
VLAN110111113
VLAN 66
VLAN13
e0/2 e0/3
SFO-E-DNS-JP
wm0RAC
e.sfo-rtr
As of 2016/12/31
pc5.sanfranciscoFa0/12
Fa0/1
Fa0/7
Fa0/17
Fa0/21 Fa0/18 Fa0/22
Fa0/5
Fa0/15
RAC
eth0
Fa0/2
m-rtr2
図 2: San Francisco NOC
4
2.2 仙台仙台 NOC は仙台周辺の拠点を収容するNOC として運用されている.2016年
3月 30日の「JGN-X 東北-2 AP(東北大)」廃止に伴う回線断まで,接続回線の計画断以外の障害や停電もなく,安定して運用された.年明けの 2017年 1月以降に暫定接続の検討を開始予定.
• (2016/03/30-) 「JGN-X 東北-2 AP(東北大)」廃止に伴う回線断
brocade1.nezu
.26
::a
em0
pc10
::8 .24
2001:200:0:1C07::/64
2001:200:0:7000:/64
203.178.138.16/28
.21
::5
pc5em1FastEthernet0
FastEthernet1
cisco1VLAN311
::82001:200:0:7F0:/64
pc13
.29
::d.19
::3
pc3
Cyber Solutions Inc.
em0
em3
brocade1.nezu
203.178.136.180/30
図 3: 仙台 NOC (-2016/3/30)
5
2.3 筑波筑波NOCは筑波大学学術情報メディアセンター内に設置されている,システム情報工学研究科産学間連携推進室をはじめとする周辺の研究組織を収容している.株式会社ソフトイーサと共同で、グローバル・固定 IPv6 アドレス割当型トンネル接続実験サービス (v6ip.tsukuba.wide.ad.jp)を運用しており、2012年にはDNS64/NAT64による IPv4ネットワークとの相互接続の試験運用も開始した.
• (2016/09/07) 落雷によりミラーサーバのストレージに障害、サービス停止
• (2016/09/09) 同サービス復旧
• (2016/09/20) IPv6トンネル接続実験サービスサーバに障害、サービス停止
• (2016/09/26) 同サービス復旧
• (2016/10/22) 電気事業法に基づく電気設備の定期点検のため停止
• (2016/10/23) 同上
WIDE
(cisco2.notemachi)
Univ. Tsukuba
v6ip over PacketiX
2001:200:1c8::/48
v6ip.tsukuba
cisco3.tsukuba (Cat6506)
cisco1.tsukuba (Cat6509)cisco2.tsukuba
(Cat6506 with sup720)
筑波大学学術情報メディアセンターCA101 NOC
203.178.132.64/26
2001:200:0:7c06::/64
WIDE OSPFv3 area 0.0.0.0
ns1.tsukuba ns2.tsukuba
生活線
vlan tagged area
vlan tagged area
1G*4 PAgP
vlan tagged area
1G*4 PAgP
vlan 2045 via
SINET 1Gbps
nat64.tsukuba
nat44.tsukuba
dns64.tsukuba
図 4: 筑波 NOC
6
2.4 根津根津 NOC は,WIDE 関東地区の重要な接続拠点として,東京大学,JGN-X,
SINET 等との接続を行っている.また WIDE クラウドの拠点としても重要な機器が設置されている.2015年は Huawei Technologies 社の機器が導入され,対外接続が 100GbE 化された.
• (2016/12/17) clk.nezu (NTP サーバ) 公開
• (2016/12/14) 根津 = 矢上間 100G 回線障害発生 (機器リセットにより復旧)
• (2016/10/22) 根津 NOC 法定点検のため停電
• (2016/09/25) 根津 NOC 法定点検のため停電 (停電時に電源障害発生のため長時間停止発生)
• (2016/09/25) 電源障害のため vm5.nezu 障害発生
• (2016/08/22) 根津 = 矢上間 DF キャリアによるメンテナンス
• (2016/03/07) JGN-X 東京大学ノード廃止
eth48eth2/12
U-TOKYO
Sekiya-LabDataReservoir
pc7.nezufoundry3.nezu
YAGAMI As of 2016/12/31
MAWI-storage
JGN2-BI4K-eth1/5
JGN2-GS4K-eth4/1foundry4.nezu
eth5/4
eth4/2
Otemachi
eth5/3
foundry5.nezueth3/9
U-TOKYO
To x448-n7f@NTT otemachiU-TOKYO
foundry1.hongo
eth3/3eth1/1
foundry1.nezu
eth1/7
eth1/6eth1/2eth1/3
foundry7.nezu
eth1/5
eth1/8
mawi.nezu eth2/4
eth2/13
eth7/4
a10.nezu
vm1.nezu
vm2.nezu
vm4.nezu
U-TOKYO
INFOTREND
eql.nezu
eth1/1/{11,14,16,20}
eth1/1/{17,21}
eth1/1/{18,22}
eth1/1/24
eth1/1/8
eth1/1/{1,19}
eth1/1/5
sekiya-esxi.nezu eth2/11
tongari.nezu eth4/24 new-mawi.nezu
NAKAYAMALab.
vm5.nezu
eth2/2
eth2/3
Kato-Lab
eth1/1/4
eth1/1/7
eth2/9eth2/10eth2/16
eth3 eth17
eth2/14
solana.nezu
eth2/1
eth2/6
ironport2
eth2/7
eth2/8
eth5/1
brocade1.nezu
eth1/7
NECOMAeth1/2
eth1/3
foundry8.nezu
eth2/8
eth2 eth13
U-TOKYO (Q-in-Q)
eth48
eth4/23
JGN2-GS4000eth4/24
eth2/15
huawei1.nezu
huawei2.nezu
OSN1800
eth5/2
eth1/4
10GE2/0/1
10GE2/0/0
100GE4/0/2
図 5: 根津 NOC
7
2.5 NTT 大手町NTT大手町 NOC(notemachi)は,1999年終りから稼働した NOCで,現在,関西方面,北陸方面への L2 網,JGN-X ,APAN-JP の接続拠点として重要な立場にある.また,日本のインターネットトラフィック交換の 1拠点として,DIX-IE ,T-LEX を設置し ISP および学術研究 NWを収容している.2015年度は T-LEX
の 100GbE 版である,T-REX (Tokyo Research and Education eXchange) が発足した.
• (2016/11) 東京大学DRチーム、sc16でのデータ転送実験他を実施
foundry1
pc1.t-lex
f2.ote
1/4
1/7
rt50i
2/5
clk
2/6
3/3
1/5
3/1 3/2
DR-HIRAKI
1/7
apan
1/8
NTT-EASTMETRO-ETHER
2/13
2/12
gmx1004
2/18
cisco2
taishitakomatsu
3/2 2/3
f6.ote1/2
5/1 5/2
{1,2}/3
As of 2017/02/10
2/8
2/9melco1
2/15fe3miyakawa-sw
2/24
miyakawa-sjc
tehe
1/4 JGNNTT otemachi
ASCC:GMX-B2
4/14
cat3512-MII
0/1
SX
7/35
mawinotemachi
4/15
A7A01224N
4/64/7
JAIST-shinagawaIPv4-kokatsuTF
2/2
KEIO-DMC
0/60/12
soumH-Cable
xfow-collector 7/12
7/7
7/3
7/2
SINET
1/6
traceback-verio 7/10
3/1
NAOJ
UNISYS
7/8
RIPE/NCC(A4C)
3/4
1/2
1/14/4
bge1
pc1
2/3meisei-u1/6
2/4
StarPorte
juniper1
7/6
0/0/0
0/0/1
2/1
2/2
1/1/9
foundry2.t-lex
foundry3.t-lex
huawei1.t-lex
NAOJ
2/0/0
CENIC:MLX
5/0/0
huawei2nezu
3/0/0
2/1/00/0/0
5/1/1 5/0/1
nexus1.ote SINET
7/13
JPRS
図 6: NTT 大手町 NOC
8
2.6 KDDI 大手町KDDI 大手町 NOC は WIDE バックボーンの中でも中核を担う重要な NOC となっており,外部組織接続が最も多い NOC となっている.10GbE によるバックボーンが導入され,NTT大手町 NOCとの連携がより強まり,WIDEから DIX-IE
への接続拠点となっている.
• (2016/11) 東京大学DRチーム、sc16でのデータ転送実験他を実施
• (2016/07) nexus1.otemachi設置,T-REX=JGN間 100G接続
NEZU(f4.nezu-e2/4)
e2/4
CUC
e1/1
NTTOtemachi
(c2.note-Ten2/3)
(f1.riho-m)
e1/2
foundry6
TITECH
e1/3
MIRAIKAN
e1/4
alala1
e2/1
Ten0/1
Ten0/0 DIX-IE
TsukubaWAN
e8/1
APAN(ms3-e1/3)
GRAPEAPAN
e8/7 e8/8
WIDE KDDI Otemachi NOC
cisco7Gi0/0/0
Gi1/0/0
e8/17
hitachi1
e8/22e8/3
foundry21/2
foundry1
2/15
Otemachi23F
1/3
KDDILAB
2/2
VoIPgate
2/3
CUC
2/4
toyaku.ac.jp
2/18
SonyCSL
2/102/16
JSAT
2/17
NICTNAG
3/62/22
dgre
pc10
pc13
pc15
Otemachi 9F
3/1
NTTOtemachi
(f1.note-e1/4)
GMX
3/7
APANfor AI3
3/8
4/5
risingsun.isc
wireless
4/72/0-3
KeioMITA
4/20
NIHONUniv.
detector
4/17
cyclades1
y6
RouteViews
4/3
AI3-PC
4/12
new-y.ip6.int
4/23
PCH-Server
4/21
APNIC-Cyclades
4/15
4/44/14
e4/8-11 GbE2
GbE1
DIX-IE
GbE3
cisco1
e26e7
e9e1 fa1/0/0
e0/0e0/4
DNS IMnet
2017/02/10
foundry7
e8/33
e49
pc18
e3
mirror
e47
e8/34
alaxala2
g0/1
pc17
e33
SEIJO(a1.seijo-Ten0/25)
Ten0/2
allied1
e8/2
M-LAB
JGN
NSPIXP-23
e2/3
IRI
e8/30
e8/39 KDDILabs
vm1
vm2
eql1
4/4
RIPE RCC RAC
nexus1Eth3/3Eth3/2
Eth4/2
Eth3/3
Eth3/1 Eth4/1
huawei1.t-lex
図 7: KDDI 大手町 NOC
9
2.7 矢上矢上 NOC は慶應義塾大学理工学部矢上キャンパス構内にあり,同大学理工学部情報工学科,同大学 DMC 統合研究センターおよび周辺の研究組織を収容している.
• (2016/01/12) f2.yagami 故障によりルーティングポイントを h1.yagami に変更
• (2016/03/25) DMC == yagami 100G 接続, 仮試験
• (2016/05/23) fujisawa == yagami において link flapが生じる問題が発生
• (2016/05/30) DMC == yagami 100G開通
• (2016/08/10-15) 矢上キャンパス 26棟電気室改修に伴う停電
• (2016/08/16) 法定停電
• (2016/08/10-16) 停電に伴い vm1.yagami のサービス停止
• (2016/08/22) 根津 == 矢上 回線借用.回線借用終了後,光アンプがリンクアップしない問題が発生.光アンプの再起動で対応
• (2016/09/08) 矢上 == 日吉 P2Pセグメント開通
• (2016/11/07) 矢上 UPS の電源ケーブルが抜けたことによる,矢上NOC一部機器のサービス停止
• (2016/12/02) 日本大学 新規回線引き込みに伴う現地 survey
• (2016/12/14) 根津 == 矢上 100G 回線疎通断.回線機器リセットにて対応.
10
cisco17400
fujisawa
DMC
pc4
YAGAMI NOC TOPOLOGY (Layer1)
hiyoshi(kyoseikan)
100GE4/0/2
10GE3/0/0
alaxala
huawei1CE12804 10GE3/0/1
tera-lab
cisco2Cat3560
FujiXerox
GE0/25e4/19GE0/26e4/20
GE0/1
GE0/23
GE0/24
west-lab
osn1OSN1800
osn2OSN1800
nezu 100GE4/0/0
100GE4/0/1
foundry2MLX4
e1/2
10G3/0/3
10GE3/0/6
vtep1
GE0/19e4/6
10GE3/0/9
GE0/2
pc6pc5vm1
cisco3Cat3560
GE0/1-48 inl-blade
GE0/27
GE0/49
GE0/20 GE0/21GE0/3
e4/1
e1/1
10G3/0/2
10GE3/0/8
INL
10GE3/0/5
GE0/1 GE0/2
図 8: 矢上 NOC Layer-1 トポロジ
11
YAGAMI NOC TOPOLOGY (Layer2) vlan160: DMC-INL
vlan191: YAGAMI-ALAXALA
vlan197: Miraikan-Hiyoshi
vlan297: DMC-Hiyoshi-2
vlan298: DMC-Hiyoshi-3
vlan299: DMC-Hiyoshi-4
vlan491: KMD-Miraikan
vlan900: SEA-LOOP1
vlan901: SEA-LOOP2
vlan1413: DMC-JGN-3thrWIDETLEX
vlan1415: JGN-KMD-201105b
vlan1710: INL-DMC
vlan1712: INL-DMC-2
vlan2132: CineG:UcsdJgnWideDmc
vlan3110: DMC-KMD-3110
vlan3764: NEDU-LA
huawei1
Nezu
vlan4: K-N-N-Y-F
vlan6: CLOUD-NAT
vlan21: INL-Local
vlan40: Notemachi-Yagami-P2P
vlan45: Nezu-Yagami-P2P
vlan46: Fujisawa-Nezu-P2P
vlan47: Fujisawa-Nezu-P2P-2
vlan79: CLOUD-EQL
vlan83: orf2015-demo
vlan94: Yagami-Xerox-P2P
vlan97: Miraikan-Hiyoshi
vlan100: yagami NOC
vlan110: Keio-West-WIDE
vlan111: West-Lab-IPv6
vlan150: KMD
vlan151: Kyoseikan
LAG
foundry2
100GE4/0/0 100GE4/0/1
10GE3/0/2
Hiyoshi
vlan46, 47, 83
vlan4
vlan6, 79, 97
vlan197, 297, 298
vlan299, 491, 900
vlan901, 1413, 1415
vlan2132, 3110, 3764
eth1/1
vlan4
10GE3/0/1
eth4/1 eth4/7
10GE3/0/0
10GE3/0/6
vlan150, 151
AlaxalA
FujiXerox
vlan191
vlan94
vlan6, 79, 97
vlan197, 297, 298
vlan299, 491, 900
vlan901, 1413, 1415
vlan2132, 3110, 3764
vlan46, 47, 83
vlan4
Fujisawa
eth4/19
eth4/20
vlan100
vlan110
vlan45
cisco1
vlan100 vlan4
vtep1
pc4
LAG
GE0/25
vm1 pc5
GE0/4 GE0/20 GE0/21
GE0/19 GE0/2 GE0/27vlan100
GE0/3
pc6
vlan100vlan6 vlan100 vlan100
vlan6
100GE4/0/2 DMC
LAG
GE0/23
GE0/24
vlan21
GE0/1vlan111
INL
West-lab.
cisco2
cisco3GE0/49
vlan100
GE0/1-48vlan23
INL-blade
vlan1
GE0/1 eth0
eth1
em1 em2 eth0 eth0
eth1
LAG
LAG
10GE3/0/3
LAG
10GE3/0/8
LAG
eth2
GE0/1 GE0/2
vlan6vlan21
10GE3/0/9
eth3 eth4
図 9: 矢上 NOC Layer-2 トポロジ
huawei1 foundry2
203.178.141.80/28vlan:100
.90 .91.83 .87Yagami NOC
INL-lab
vlan: 45
vlan:150
vlan:94
vlan: 191
Nezu-Yagami-P2P
KMD
FujiXerox
ALAXALA
vlan: 151
Kyoseikan
vlan:110
Keio-West-WIDE
.92 .88 .89
vlan: 21
West-labvlan: 111
INL-bladevlan: 23
.93
vlan: 40
Yagami-Note-P2Ppc4
pc5
pc6
vm1
vtep1
cisco2
cisco3
.84
図 10: 矢上 NOC Layer-3 トポロジ
12
2.8 藤沢藤沢NOCは慶應義塾大学湘南藤沢キャンパス内にあり、慶應義塾大学や村井研究室の他、周辺の研究組織を収容している。同時にW3CやAI3との接続、VoIP
関連サービス、外部研究組織のトラフィック計測サーバの設置及び接続性の提供などを行っている。
• (2016/5/23) 矢上-藤沢 100G回線トラブル
• (2016/7/29) 藤沢ー矢上線 (100Gbps)のメンテナンスに備え迂回試験実施
• (2016/8/15) 矢上NOC停電に伴い藤沢ー矢上線 (100Gbps)メンテナンスによる停止
• (2016/8/17) ISIの計測ホスト向けにAS1133と j[1,2].fujisawa間で eBGP接続を確立
• (2016/10/20) AI3との接続点で障害
• (2016/12/04) 法定停電対応 燃料電池にトラブルがあったが、機器停止はなく終了
• (2016/12/27) ns.fujisawa.wide.ad.jp(mcast)にて障害のためWIDEクラウドに移設
13
Fujisawa NOC Layer2-topology2016/1/13 by eden
huawei1.yagami huawei3.fujisawa
vlan4vlan46vlan47
juniper1.fujisawa juniper2.fujisawa
10GE3/0/0
xe-0/0/0
10GE3/0/1
xe-0/0/0
foundry3.fujisawa foundry5.fujisawa
xe-1/0/0 xe-1/1/0 xe-1/0/0 xe-1/1/0 xe-0/0/1
vlan105vlan104vlan103vlan100
xe-0/0/1
vlan105vlan104vlan103vlan100
vlan71vlan140
vlan88vlan141
vlan112
xg-0/0/1 xg-1/0/1
Notemachi-P2P
foundry2.fujisawa
eth3
W3C eth4
Sanno-Univ eth9
juniper1.sfc eth11
vlan100
voip-gw1 eth43
c3800.ai3 eth44 vlan31vlan49
SOI-switch eth17vlan501
vlan100 vlan100
pict1 eth18
pict2 eth25
pict3pict4 eth5
pict5 eth28
sh.wide eth10
mcast eth26
eth30
Nara-evlan eth4/11
vm1.fujisawa
vlan105vlan106vlan6
eth4/1
vm2.fujisawa
vlan105vlan106vlan6
eth4/7
nec1.fujisawa eth4/14
nec2.fujisawa eth4/12
hitachi3.f eth1/2
detr.fujisawa eth4/17
eth4/13
vlan110
pxtr.fujisawa eth4/18
xtr.fujisawaeth4/20
eth4/19
vlan105
vlan106vlan109
vlan109
vlan109
vlan110
vlan105
-eth4/5
-eth4/9
vlan47vlan4vlan46
AI3-satellite vlan205eth3/8vlan31vlan49vlan140
K2 eth3/9 vlan103
alaxala3.sfc eth2/1
foundry6.f eth3/1
sfc-gate2.ai3 eth3/4 vlan141vlan100
traceback eth3/5
sfc-gate.ai3 eth3/23 vlan140
pc4 eth3/2
ge-0/1
alaxala1.fujisawa
SOI-ITC ABF-57-5-17 ge-0/2 vlan150
SOI-Shochositsu ge-0/9 vlan150
ISI-Pinger
vlan107ge-0/6ge-0/7ge-0/8
vlan100
vlan107vlan150
KEIO-ITC KEIO-SFC KEIO-ITC KEIO-SFC
100GE4/0/0100GE4/0/1
vlan88
vlan103
vlan112
vlan104
vlan100
vlan100
vlan104
vlan104
vlan100
vlan100
vlan6
vlan71
vlan100
vlan100vlan6
vlan100
huawei1.fujisawa
xg-0/0/2-xg-1/0/2
eth49-50
xg-0/0/4-xg-1/0/4
eth1/1-eth-1/2eth-1/1-eth1/2
xg-0/0/3-xg-1/0/3eth-trunk0 eth-trunk2eth-trunk1
lag1
UCS eth47-48
vtep1 eth33
eth34
vlan501vlan100
vlan100vlan103vlan104vlan105
vlan6vlan31vlan49
eth-3/3
vlan141vlan6vlan31vlan49
vlan105vlan104vlan103vlan100
vlan6vlan31
vlan105vlan104vlan103vlan100
vlan71
vlan105
vlan31
10GE3/0/23
cisco3.fujisawa eth21 vlan100ge-1/2
mawi eth24 vlan104
vlan106
vlan106
vlan130
Flets ONU eth31 vlan130
voip-vpn vlan100
vlan103
eth7
eth8
vlan106
vlan106
vlan4vlan46vlan47vlan71vlan88
vlan100vlan103vlan104vlan105vlan106
vlan6vlan31vlan49vlan112vlan130vlan140vlan141
KNNYFNezu-Fujisawa-P2P-1Nezu-Fujisawa-P2P-2Nara-Fujisawa-P2POtemachi-Fujisawa-P2P
Fujisawa-1-netFujisawa-3-netFujisawa-4-netFujisawa-cloudFujisawa-v6exp
WIDE-CLOUDAI3(NDNKF)APAN-AI3Sanno-UnivFujisawa-NGNAI3-BGP-2AI3-BGP-1
mawi
図 11: 藤沢NOC Layer-2 トポロジ図
14
[KNNYF]203.178.138.224/272001:200:0:1c04::/64
.249
xe-0/0/0.4 xe-0/0/0.46
[NEZU P2P]203.178.136.92/302001:200:0:13::/64
.94
[FUJISAWA-1.net]203.178.137.64/272001:200:0:1001::/64.67
[FUJISAWA-3.net]203.178.141.224/272001:200:0:1003::/64
[FUJISAWA-4.net]203.178.138.96/272001:200:0:1004::/64
.227
.114
[KEIO-ITC] xe-1/1/0
[KEIO-SFC] xe-1/0/0
[KEIO-ITC] xe-1/0/0
[KEIO-SFC] xe-1/1/0
.81 foundry1.fujisawa
cisco6
.232
fa0
serial0[NDA]
.83 lisp
.78 niph-vrrp
.231 cisco12(gatekeeper)
.82 nec1
.93 envmon1
.69 pc1(mcast)
[FUJISAWA-Cloud]203.178.138.64/282001:200:0:1005::/64
.68 pxtr
.70 xtr
.71 detr
.66 vm1
.67 vm2
.85 pc10(old sh.wide)
.80 pc4(internetits)
.84 pc5(moca)
.71 cnrs-wide
.74 foundry2
.87 alaxala3.sfc
.88 juniper1.sfc
.91 nec2
.92 hitachi3
.104 mawi
.110 exp1
.111 exp2
.113 pict1
.115 pict3
.118 pict4
.116 sh-rac
.124 gma1
.126 pict5
alaxala1
.79
vlan107
vlan150
[ISI]203.178.148.16/28[SOI]203.178.140.97/27
vlan100
juniper1
[NAIST evlan]203.178.136.204/302001:200:0:15::/64
xe-0/0/1.100 xe-0/0/1.105
.72
.66
xe-0/0/1.103 xe-0/0/1.104
.239
.103
Virtual IP = .65
Fujisawa NOC Layer3-topology2016/1/13 by eden
xe-0/0/0.47
[NEZU P2P-2]203.178.136.188/302001:200:0:16::/64
.190xe-0/0/1.88
[NOTEMACHI P2P]203.178.136.192/302001:200:0:17::/64
.194xe-0/0/1.71.190
xe-0/0/1.100 xe-0/0/1.103 xe-0/0/1.104
Virtual IP = .225
Virtual IP = .97
xe-0/0/1.105
.73
Virtual IP = .65
juniper2
[AI3-2]xe-0/0/1.141
[AI3-1]
xe-0/0/1.140
.86 foundry5.fujisawa
[SANNO-UNIV] xe-0/0/1.112
.98 pc39
.99 im
.100 cucm
.101 vmware
.102 ucs-management
.107 ai3
.108 traceback
.109 voip-gw1
.117 pict-management
.226 necoma-spam
.228 vpn2
.229 vpntrans
.230 pc40
.235 alaxala2
.237 cisco10
.240 cisco11
.75 huawei1
.76 huawei1(reserved)
.90 vpn1
[FUJISAWA-v6exp]203.178.149.0/252001:200:0:1006::/64.2 .3
xe-0/0/1.106 xe-0/0/1.106
Virtual IP = .1
.69 vtep1
図 12: 藤沢NOC Layer-3 トポロジ図
15
2.9 小松小松NOCは北陸先端科学技術大学院大学 (JAIST / 石川県能美市)内に設置されたNOCであり,同大学,NICT 北陸 StarBED技術センター (通称: StarBED)
等への接続を収容している.NOC間接続として関東および関西方面に対し複数のリンクを持ち,東阪間リンク障害時の迂回経路としての役割も担っている.
• (2016/05/14) 08:00–17:00 JAIST 全学停電に伴うサービス停止.
Arista1[ab](7060CX)
Cisco2(Cisco6507)
Juniper1(MX240)
JGN
SINET
Arista4[ab]
ct67.jaist
mlxe8.jaist
Foundry2
Arista3
Arista40g@shinoda-lab
JAIST
StarBED
JAIST (AS#17932)
図 13: 小松 NOC
16
2.10 堂島堂島 NOCは,WIDEプロジェクトのネットワークにおける西日本のコア拠点となっている.NTTテレパーク堂島第 1ビルと第 3ビルに拠点を構え,NTT大手町NOCとともに 10GigabitEthernetバックボーンの 1点を担ったり,大阪における学術 IX(NSPIXP3)拠点を担ったりしているNOCである.また,第 3ビル内において JGN や SINET とも接続し,西日本方面の多数のNOCとリーフサイトを収容している.ルーティングポイントの cisco2.dojimaから juniper1.dojima,
crs1-1.dojimaへの移行を進めている.
• (2016/3/24) foudnry7.dojima (FLS648), foundry8.dojima (FLS648, コールドスタンバイ) 設置。foudnry4.dojima収容機器を foudnry7.dojimaへ移設
• (2016/10/31) 倉敷芸術科学大学 接続廃止
17
図 14: 堂島NOCトポロジ
18
2.11 奈良奈良NOCは奈良先端科学技術大学院大学内にあり,大学およびNOC周辺の研究組織を収容するとともにAI3と接続している.また,Debian JP等の公式ミラーを始めとする 10以上のミラーを提供するFTPミラー (ftp.nara.wide.ad.jp) をサービスしている.
• (2016/2/4) NOC内WIDE Cloud収容スイッチ fesx1.naistをFESX648から FLS648に交換
• (2016/10/15) WIDE Cloud ホスト vm3/vm4/vm5.naistをNOC内に移設
• (2016/10/18) juniper4.nara上のBGPルートリフレクタ機能を juniper5.
naraに移行。juniper4.naraルーティング停止
19
図 15: 奈良NOCトポロジ
20
2.12 左京左京NOCは京都およびその周辺に存在する組織に対する接続拠点であり京都大学に設置されている.
図 16: 左京 NOC
21
2.13 岡山OKIX NOC は岡山情報ハイウェイ OKIX NOC 内にあり,岡山情報ハイウェイを経由して相互に接続しているプロジェクト参加機関 (美星スペースガードセンター,倉敷市等) を収容している.
Teleport NOC
WIDE-‐Kurashiki P2P VLAN 3727203.178.136.208/30Redistribute OSPF to WIDE
interface TenGigabitEthernet1/1/1To Dojima(203.178.126.209)
203.178.136.210
Cisco7600
WIDE Okayama(OKIX) connecting Topologies (31/10/2016)E-‐mail: kazu-‐[email protected] Cantact: [email protected]
BSGC Subnet203.178.145.145/28Redistribute OSPF to WIDE
Bisei-‐T Subnet203.178.145.148/29Redistribute OSPF to WIDE
Kurashiki City Subnet203.178.152.64/26Redistribute OSPF to WIDE
OKIX teleport Subnet203.178.152.0/26
Redistribute OSPF to WIDE
Okayama IoT Subnet203.178.152.128/25Redistribute OSPF to WIDE
Cat3750x
OKIX(Okayama Information
Highway)
WIDEJGN/JB
図 17: 岡山 NOC
22
2.14 広島広島NOCは,トポロジー図に示すとおり,大阪NOCと福岡NOCの中間に位置しており,WIDEバックボーンに対して大阪~福岡間の冗長性も同時に提供している.ただ,2016年 4月より JGN-Xの広島と福岡でのアクセスポイントが設置されている拠点が変更になったため,福岡との接続性が失われている.ソフトウェアルータによる運用を 2012年より続けており,Xen Hypervisor上で動くVM(Virtual Machine)であるVyatta Routerを使用している.また,ローカルサービス用の Linuxサーバも,同じVMとして動作させている.VMとしての運用による問題はこれまで生じておらず,パフォーマンス,安定性ともに高い性能を維持できている.大阪NOCとの接続には JGN-XのVLANを経由しており,さらに地域プロバイダである SuperCSIを経由し,また設置場所である大学内もまたVLANを経由して接続している.よって,各接続点での L2 SWは経路的に冗長化されておらず,運用上の注意が必要である.
• (2016/03/31) 大阪NOCへの JGN-X回線への足回り回線を変更、福岡NOC
との接続は断
• (2016/09/11) 法令点検による計画停電
23
WIDE Hiroshima NOC
Xen Hypervisor
Vyatta
Software
Router
Local
Servers
Fukuoka
NOC
Dojima
NOC
203.178.136.144/30
eth1
203.178.138.177/28
management
eth2eth0
203.178.136.200/30
2001:200:0:3000::/64
.202
.145
.65
::1
updated: 2016/04/01 [email protected]
回線の都合により
2016/04/01より断
図 18: 広島 NOC
24
2.15 バンコク2007年 5月 15日に設置されたバンコクNOCは,NECTECやUniNETといったタイの学術研究組織との研究活動強化を目的に設立された.今年度も引き続き,WIDEプロジェクトとしての独自の回線は存在しないが,JGN-Xの回線を利用し,VLANを用いてWIDEインターネットをバンコクまで延長し,IPv4,および IPv6
の接続性を提供している.バンコクNOCは,JGN-Xバンコク回線を収容しているNECTECと同じ建物に存在し,そこからUTPケーブルを延伸し,バンコクNOC
が存在する部屋にネットワークを引いている.バンコクNOCの主な利用者は,バンコクを中心に活動している SOI Asiaプロジェクトのメンバーである Patcharee
Basu,および関係者になる.2013年1月に故障したルータ (pc1.bangkok)の代替として、2013年10月に yamaha
rtx810 が設置され、接続性が回復した。
• 2016年は構成変更や障害等はなかった.
cisco2.notemachi
Yamaha RTX810
polycom PC PC
203.178.138.145/282001:200:0:6009::1/64
203.178.138.146/282001:200:0:6009::2/64
203.178.140.65/272001:200:0:a800::1/64
JGN :WIDE-BKK(1Gbps)
図 19: Bangkok NOC
25
3 おわりに本年度もWIDEバックボーンネットワークの安定運用を行ってきた.来年度は,
100Gバックボーンの本格運用や 100Gバックボーン上での実験を精力的に行っていく予定である.
4 CopyRight
c⃝2016 WIDE Project Two Working Group
26