In-band Network Telemetryとその可能性

2019年10月11日ネットワンシステムズ 株式会社新林 ⾠則

1

AgendaAgenda ■■■■■■■■■■■■

アジェンダ• 情勢とP4への期待• ネットワンの取り組み• In-band Network Telemetry概要＋Demo• 他の可視化手法との比較• まとめ

2

情勢とP4への期待情勢とP4への期待

3

Society 5.0 と 5G

” Society 5.0「科学技術イノベーションが拓く新たな社会」説明資料” ,印刷版 page 3,内閣府

https://www8.cao.go.jp/cstp/society5_0/

4

5G の要素技術

医療

交通

農業

工業

スマートシティ” Society 5.0「科学技術イノベーションが拓く新たな社会」説明資料” ,印刷版 page 1,内閣府https://www8.cao.go.jp/cstp/society5_0/

5G Network

5

P4 （INT）に期待していること

IMT Vision – Framework and overall objectives of the future development of IMT for 2020 and beyondUsage scenarios of IMT for 2020 and beyond Figure 2https://www.itu.int/rec/R-REC-M.2083 M.2083-0 (09/2015)

高信頼性と低遅延満たしていることをどうやって確認するのか？

6

ネットワンの取り組みネットワンの取り組み

7

ネットワンシステムズとP4の関わり

ICTの利活用によりお客様の課題を解決し社会へ貢献致します

•弊社米国支社と連携し、2016年よりP4技術の調査を開始

最新技術のキャッチアップ

•米国P4 Language Consortiumへの参加

• Barefoot、Kaloomと強いリレーション技術習得・イネーブルメント

•最新技術を含め、お客様課題に合わせた柔軟な提案を可能に

お客様の課題に合わせた提案

P4 Language Consortiumへの参加各種イベントへの参加と情報収集

KaloomのPoCを弊社ラボで実施

Barefoot社とNDA締結しP4コンパイラ提供、実機検証

8

NOSで取り組んでいるユースケース

ステートレス・ロードバランサー

Kaloom Software Defined Fabric

AutomatedFabric&

Slicing

Packet Reorder検知

P4対応スイッチ

P4対応スイッチ

MyINT

123546

P4対応スイッチ

In-band Network Telemetry

P4

9

NOSで取り組んでいるユースケース

In-band Network Telemetry ステートレス・ロードバランサー

P4P4対応スイッチ

P4対応スイッチ

MyINT

123546

P4対応スイッチ

Kaloom Software Defined Fabric

AutomatedFabric&

Slicing

Packet Reorder検知

10

In-bandNetworkTelemetry概要＋Demo

In-bandNetworkTelemetry概要＋Demo

11

INT（In-bandNetworkTelemetry）

INT対応SW

INT対応SW

INT対応SWEnd

INT対応SW

End

MetadataCollector

各INT対応スイッチがINTメタデータヘッダを付与INT Sinkはパケットヘッダ＋INTヘッダをメタデータコレクタに送信、オリジナルのパケットはINTヘッダを削除し、対向エンドポイントに送るINTヘッダに付与する情報はデータプレーンの可視化に特化している

・スイッチ自身のID・Ingressポート/Ingressタイムスタンプ・Egressポート/Egressタイムスタンプ・キューの使用状況・オリジナルパケットのヘッダと合わせてフロー毎にスイッチ個別の情報を収集/可視化

ヘッダ部分

オリジナルパケット

12

INTイベントレポート

End End

MetadataCollector各スイッチ上でパケットドロップ、Queue Depthの閾値違反レイテンシの閾値越えが発生した場合、発生したスイッチ自身からイベントレポート情報（Drop理由等）とオリジナルパケットヘッダがコレクタに送られる

Drop発生

レイテンシやキュー使⽤率の閾値違反

INT対応SW

INT対応SW

INT対応SW

INT対応SW

13

•利⽤する情報– 各スイッチにおける処理時間（≒転送遅延）

•想定シナリオ– 転送遅延が大きいフローを迂回させる（Peek Insight）

•各種機種・バージョン情報– EdgecoreWEDGE 100BF-32X

– Sonic sonic-851.bin– Barefoot Deep Insight 2.3.1– Ansible 2.8.3– Peek Insight（NOS 独自）

– CentOS 7.6.1810– Python 3.6.8– C gcc-4.8.5-20150702

– Controller（BGP RR）– Cisco IOS-XE 16.08.01a

– IXIA IxNetwork8.40.1124.8 EA

INT 情報を利⽤したネットワーク制御（⾃動化）

テスト環境トポロジ

BarefootDeep Insight

14

Peek Insight

Controller

Leaf-3

Spine-2

Leaf-2

Spine-1

10G

10G

10G

10G25G25G

Ixia Ixia

10G10G 10G

デモ簡易説明

6Gbps6Gbps

12G流れるため12G流れるため輻輳が発⽣

APIで情報取得

INTデータコレクタ

検知

パス切り替え依頼

BarefootDeep Insight

15

Peek Insight

Controller

Leaf-3

Spine-2

Leaf-2

Spine-1

10G

10G

10G

10G25G25G

Ixia Ixia

10G

デモ簡易説明

6Gbps6Gbps

APIで情報取得

INTデータコレクタ

パス切り替え依頼

BarefootDeep Insight

10G10G

パスの書き換えをパスの書き換えを実施

16

デモ動作の詳細

①テレメトリデータの送信

In-band Network Telemetryデータの可視化

Peek Insight

定期監視及び分析エンジン

②Rest 経由の情報収集

③最適化を依頼

④ルート最適化を実施

⑥チャットアプリにポスト

状況確認（管理者）

③ʻ分析結果およびルート最適化結果の通知

Controller

Controller：• 適切な⽅法でルート変更を実施

Peek Insight：• 転送遅延の増加などネットワーク内の変化を監視• 遅延緩和につながる最適なルート計算

P4 BarefootDeep Insight

pythonC

ANSIBLE

StackStorm CiscoWebex Teams

StackStorm：IFTTT ツール

17

デモ動画 何の問題なのか埋め込めず。。

Demo

18

他の可視化手法との比較他の可視化手法との比較

19

モニタリング

トラブルシューティング

トラフィックの振る舞い検知

xFLOW、Telemetry、INT

イベント通知

SNMP-trap、Syslog、BMP

キャパシティ・プランニング

SNMP、CLI

監視手法 – 用途分け

20

監視手法 – 比較CPU 負荷 ASIC 処理 Flow 認識 Burst 検知 収集・発信間隔 コントロール・プレーン

の情報収集認知度

Syslog 低〜中 ☓ - - -※ ○ ○

SNMP-trap 低〜中 ☓ - - -※ △ ○

Streaming Telemetry 低 ○ ☓ ○ ミリ秒〜秒 △ △

xFlow 低〜中 △ ○ △ フロー毎 ☓ ○

BGP Monitoring Protocol 中 ☓ - - 秒 △ ○

INT - ○ ○ ○ パケット毎 ☓ ☓

SNMP 高 ☓ ☓ △ 分 △ ○

CLI 中 ☓ - ○ - ○ -

Push 型

Pull 型

※イベントベースの発信

21

Push型の監視手法 3種Telemetry 情報Queue の埋まり具合がわかる

INT 情報Queue の埋まり具合に加えてフロー単位の占有率がわかる

xFlow情報ネットワーク全体でトラフィックを包括的にわかる

22

中でもINT特有で可視化可能なもの

• パケットが通った形跡がわかる⇒どういったサービスを経由してきているのか

• 各デバイスにおける処理時間がわかる⇒経路上のどこが悪いのか⇒特定のフローだけなのか否か

23

中でもINT特有で可視化可能なもの• その他

– ドロップカウンター（Tail drop, 不正パケットなど）– Flow の発⽣⽇時、終了⽇時– パス変更情報– フラグメント関連の情報– CPU への Punt 情報– などなど

24

監視手法 – 比較CPU 負荷 ASIC 処理 Flow 認識 Burst 検知 発信の

タイミングコントロール・プレーン

の情報収集認知度

xFlow 低〜中 △ ○ △ フロー毎 ☓ ○

Streaming Telemetry 低 ○ ☓ ○ ミリ秒〜秒 △ △

INT - ○ ○ ○ パケット毎 ☓ ☓

CPU

Queue

Interface

Streaming Telemetry

xFlowCPU

Queue

Interface

CPU

Queue

Interface

INT

25

CPU 使用率 2%程度 メモリ 42GB 利用

INT は万能なソリューション？• データ・プレーンに着⽬した場合、圧倒的に⾒える情報が増えた

• サービス品質の可視化やトラブルシューティングに役に⽴つのは間違いない

• がしかし、• INT ヘッダを受け取って処理するコレクタの負荷が増えてしまう⾯も

DI サーバ –定常時の状態

スイッチからのレポーティングレートを増やした場合DI サーバの負荷状況

CPU 60%使用率＆増加中145GB メモリ使用＆増加中

26

まとめまとめ

27

INTの可視化では・・

IMT Vision – Framework and overall objectives of the future development of IMT for 2020 and beyondUsage scenarios of IMT for 2020 and beyond Figure 2https://www.itu.int/rec/R-REC-M.2083 M.2083-0 (09/2015)

高信頼性と低遅延満たしていることをどうやって確認するのか？

パケット毎にパケットが通過してきたデータプレーンの状態を

フローにひもづけて可視化可能

しかし全てをINTで可視化することはコストパフォーマンスに欠ける

28

特性に合わせた可視化

医療

交通

農業

工業

スマートシティ” Society 5.0「科学技術イノベーションが拓く新たな社会」説明資料” ,印刷版 page 1,内閣府https://www8.cao.go.jp/cstp/society5_0/

5G Network

5G Network

ミッションクリティカル

マルチメディア

Machine to MachineP4

29

弊社P4関連記事、活動ご紹介

P4関連の読み物のご紹介

P4が迫る“聖域”開放データプレーンもプログラム可能に

P4と進むネットワークの向こう側ネットワン 匠コラムビジネスネットワーク.jp

https://businessnetwork.jp/Detail/tabid/65/artid/6610/Default.aspx

https://www.netone.co.jp/report/column/column1/20190426.html

情報処理学会 第81回全国大会ランチョンセミナー

オープンネットワーキングの展望とp4/Dapaplane Programmability -期

待とその可能性

ブース展示

P4関連記事

P4 Workshop 2018 Tokyo

ネットワンP4イニシアチブとカルームのソフトウェア定義ファブリック

の紹介

ブースにてデモ展示