一般社団法人 電子情報通信学会 信学技報 THE INSTITUTE OF ELECTRONICS, IEICE Technical Report INFORMATION AND COMMUNICATION ENGINEERS

This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere.

Copyright ©2015 by IEICE

アプリケーションの遅延特性を考慮した Energy Efficient Ethernet

千野 光礼† Ion Popescu‡ 宮崎 貴博† 伊佐治 義大† 永田 翔一†

芦沢 國正† 岡本 聡†§ 山中 直明†

†慶應義塾大学 理工学研究科開放環境科学専攻 〒223-8522 神奈川県横浜市港北区日吉 3-14-1 ‡TELECOM Bretagne 655 Avenue du Technopole, 29200 Plouzané フランス

§電気通信大学 大学院情報理工学研究科〒182-8585 東京都調布市調布ケ丘 1丁目 5-1 E-mail: †mirai.chino@yamanaka.ics.keio.ac.jp

あらまし Ethernet において，通信をしていない時間帯は回路をスリープさせ消費電力を削減する LPI (Lowe Power Idle)が Energy Efficient Ethernet (EEE)として標準化されている．更に，パケットをキューにバッファリングし，スリープ時間を長くすることで，更なる省電力化を目指した Coalescing LPIが存在する．しかし，全ての CoS (Class of Service)に対して同じ遅延が発生するという問題がある．そこで，優先度の高い CoSに対しては遅延時間を 小化する Application Centric Energy Efficient Ethernetを提案する． キーワード 消費電力，IEEE802.3az，Quality of Service，Class of Service，アプリケーション指向

Application Centric Energy Efficient Ethernet for minimum delay

Mirai Chino† Ion Popescu‡ Takahiro Miyazaki† Yoshihiro Isaji† Shoichi Nagata†

Kunitaka Ashizawa† Satoru Okamoto†§ and Naoaki Yamanaka†

†Keio University 3-14-1 Hiyoshi, Kohoku-ku, Yokohama-shi, Kanagawa, 223-8522 Japan ‡TELECOM Bretagne 655 Avenue du Technopole, 29200 Plouzané France

§The University of Electro-Communications 1-5-1 Chofugaoka, Chofu-shi, Tokyo, 182-8585 Japan E-mail: †mirai.chino@yamanaka.ics.keio.ac.jp

Abstract LPI (Lowe Power Idle) retains the communication circuit in the sleep state when no communication is made on the link. Furthermore, coalescing function which is queuing the packets until counter or timer is expired improves power saving effect. But the same delay occurs for every CoS (Class of Service) application and it is not negligible. In this paper, we propose Application Centric Energy Efficient Ethernet for minimum delay of high priority application. Keywords Energy consumption, IEEE802.3az, Quality of Service, Class of Service, Application centric

1. はじめに

ICT (Information and Communication Technology)分野におけるネットワークの消費電力は大きく， GeSI (Global e-Sustainability Initiative)[1]によれば， 2010 年に 21.4 TWh であったヨーロッパにおけるネットワーク機器全体の消費電力は， 2020 年には 35.8 TWh になると推測されている [2]．そこで，ネットワークにおける消費電力の増加を抑制するために，様々な省電

力技術が研究されている．ネットワークにおける省電

力技術は大きく分けて，リンクレベル，ネットワーク

レベルに焦点を当てた 2 つに分けられる．リンクレベルの省電力技術では，リンクを使用していない，つま

りノード間で通信が行われていないときにノードの一

部の機能をアイドル状態にする技術である [3,4]．一方，ネットワークレベルの技術は，トラフィック情報やト

ポロジ情報を利用することで，ネットワーク全体の消

費電力を 小にするようなトポロジを導出する技術で

ある [5,6]．例えば，リンク使用率の低いトラフィックがネットワークに分散しているとき，ネットワークの

トポロジを変更しトラフィックを集約することで，使

用していないポートやリンクあるいはノードをアイド

ル状態にし，省電力化を図ることが可能となる．リン

クレベルとネットワークレベルの 2 つの技術は連携することでより大きな省電力効果が期待できる． 現在，リンクをターゲットとした技術には，ルータ

およびスイッチ間で通信していないときに送信機能，

受信機能を OFF にすることによりアイドル状態を実現する LPI (Low Power Idle)と，リンク使用率に合わせてリンクの伝送速度を変更する ALR (Adaptive Link Rate)が存在する．ALR は，ある伝送速度から別の伝送速度に変化させる時間が LPI における状態遷移時間と比べ極めて大きく，パケット遅延が発生する問題があ

り，2010 年の IEEE802.3az の標準においては採用されなかった． IEEE 802.3az，つまり，EEE (Energy Efficient Ethernet)では LPI のみが採用されている [3]．ところが，LPI は，パケットの存在と非存在が頻繁に発生すると消費電力が大きくなり，結果として消費電力の削減率

が低くなってしまう問題が存在する．現在，コアネッ

トワークはオーバープロビジョニングされているため

リンク使用率は 30~40%[1,7,8]と小さいが，パケット到着をポアソン過程としたとき，LPI においてリンク使用率 30%での消費電力は 85%となってしまい削減効果が小さい [4]．LPI の問題を解決するために，ルータに来たパケットをキューにバッファしてアイドル状態の

時間を増大させ，消費電力を削減する Coalescing LPIが実用化されている [4,9,10]．Coalescing LPI では，パケットをキューに多くバッファするほど理想の消費電

力に近づく．しかし，Coalescing LPI にはキューに溜まるパケットが多いほど遅延も増大してしまい，全て

の CoS (Class of Service)に対して同じ遅延が発生するという問題がある． 本論文では，各 CoS に対応したキューを用意し，優

先 度 の 高 い CoS に 対 し て は 遅 延 を 小 化 す る

Application Centric EEE (ACEEE)を提案し，各アプリケーションの遅延を大きくすることなく消費電力の低減

を実現する．本論文の構成は以下の通りである．2 章では本研究に関連したリンクレベルの省電力技術を説

明する．続く 3 章で提案方式である ACEEE を説明し，4 章で特性評価を示す． 後に 5 章で結論を述べる．

2. リンクレベルの省電力技術 リンクをターゲットとして省電力技術は大きく分

類すると 2 つである．トラフィックに応じて伝送速度を変える ALR と，通信していないときにアイドル状態にする LPI である．ALR はイーサネットに流れるトラフィックの伝送速度に応じて物理層（PHY）を動的に変更することで消費電力を削減する．一方，LPI は，イーサネット上の帯域が使用されていないときに

MAC (Media Access Control)層のチップ電源を切ることによって省電力化を図る．なお，現在 IEEE802.3azとして標準化され実用化に至っているのは，極めて簡

単な動作で導入障壁の低い LPI のみである． 本章では，リンクレベルの省電力技術として，ALR

と LPI，さらに，LPI を効率的に使用する Coalescing LPIを説明する．

2.1. ALR (Adaptive Link Rate) イーサネットでは 10Mbps，100Mbps，1Gbps，10Gbps

等の様々な伝送速度が定義されている．使用する伝送

速度が異なれば消費する電力も変化し，それは無視で

きないものである．例えば， NIC (Network Interface Card)の伝送速度を 10Mbps から 1Gbps に増やす場合，

消費電力は 3W 程度増え，この値はシステム全体の 5%に当たる [11]．ALR とはリンクの使用率に従い，使用する伝送速度を変更することでイーサネットリンクの

電力を削減する技術である． も簡単な ALR の方式は，出力キューにバッファされているパケットに閾値を設

け，閾値を超えれば伝送速度を上げ，閾値を下回れば

伝送速度を下げる方式である [12]．

2.1.1. ALR の問題点 上記の も簡単な ALR の方式では，キューにあるパ

ケットの数が閾値の周りを頻繁に行き来し，伝送速度

の切り替え回数が増大してしまう．表 1 に ALR におけるイーサネットの伝送速度の切り替え時間を示す．

後述する LPI の状態遷移時間と比べ，ALR の切り替え時間は極めて大きく，伝送速度の切り替え回数の増大

はフレーム効率の低下を招く． 表 1. イーサネットにおける伝送速度の時間 [12]

2.2. LPI (Low Power Idle)

LPI にはアイドル状態とアクティブ状態の 2 つの状態が存在する．アクティブ状態からアイドル状態に遷

移するためにはキューのパケットが全て送信されてか

らでなければならない．また，アイドル状態からアク

ティブ状態への遷移は 1 つ以上のパケットが到着したときに起こる．表 2 にアクティブ状態とアイドル状態の遷移時間を示す．10GBASE-T を例にとると，アクティブ状態からアイドル状態への遷移時間 Twは 4.48μ s，アイドル状態からアクティブ状態への遷移時間 Ts は2.88μ s である．イーサネットフレームが 1500byte の場合，フレーム送信時間 Tframeは 1.2μ s なので，アクティブ状態で処理するフレームが 1 つの場合のフレーム効率は 14%となる．

1000BASE-T のイーサネットの場合，アクティブ状態における 1 秒あたりの消費電力は 0.5W，10GBASE-Tのイーサネットの場合 5W である [4]．LPI を用いることでアイドル状態において消費電力はアクティブ状態

の 10%に削減される． 表 2. LPI の状態遷移時間 [13]

2.2.1. LPI の動作 図 1 に LPI の動作を示す．はじめ，アイドル状態に

あるルータはパケットが到着するとアクティブ状態に

遷移するためにウェイク動作を行う．アクティブ状態

ではパケットが処理されポートから送信される．全て

のパケットを送信し終えると NIC (Network Interface Card)はアイドル状態に遷移するためにスリープ動作を行う．NIC がアイドル状態の場合，リンクパートナーとのリンクを維持するために，一定の時間間隔 Tqでリフレッシュ動作を行う．アイドル状態は次のパケ

ットが到着するまで持続し，その間リフレッシュ動作

も持続する．アイドル状態とアクティブ状態の遷移中

にパケットが破棄されることはない．

図 1. LPI の動作

2.2.2. LPI の問題点 LPI はアイドル状態とアクティブ状態を利用するこ

とで，リンク使用率（トラフィック負荷）に応じた消

費電力を実現可能だ．しかし，LPI には電力削減率が低いという問題がある．エラー ! 参照元が見つかりません。図 2 にパケット到着をポアソン過程としたときの 10GBASE-T における LPI の消費電力の特性を示す [13]．現在のコアネットワークにおけるリンク使用率に照らし合わせると，リンク使用率が 30%の時，既に電力はアクティブ状態の 85%を超えてしまっている．理想的には，リンク使用率が 30%のとき，消費電力も 30%というように，リンク使用率の増加につれて消費電力が線形に増加することである．

図 2. 10GBASE-T における LPI の消費電力 [13]

2.3. Coalescing LPI LPI の問題を解決するために，パケットをまとめて

一括処理を行う Coalescing 機能を用いた LPI が提案されている [4]．Coalescing LPI では，NIC に到着したパケットはキューにバッファされる．キューにバッファ

されたパケットの数がある閾値を超えた場合に限り，

キューが開放されパケットを送信する．

2.3.1. Coalescing LPI の動作 Coalescing LPI には蓄積状態と送信状態の 2 つの状

態が存在する．初期状態は蓄積状態である．また，閾

値は 2 種類あり，カウンター（パケット数）とタイマーである．蓄積状態では，パケットが到着したときカ

ウンターが 0 だった場合，カウンターを 1 にしタイマーを開始する．続いて，パケットが到着する度にカウ

ンターの値を 1 ずつ増やししていく．また，蓄積状態では，到着したパケットは全てキューにバッファされ，

送信されることはない．カウンターの値が定められた

閾値に達するか，定められたタイマーの時間に達した

場合，送信状態へ遷移する．送信状態ではキューにあ

るパケットを送信する．キュー内にバッファされたパ

ケットを全て送信し終えた時，つまり，キューが空に

なった時，蓄積状態へ遷移し，タイマーとカウンター

をリセットする．

2.3.2. Coalescing LPI のブロックダイアグラム

図 3 に Coalescing LPI のブロックダイアグラムを示す．まず，パケットスイッチ部から NIC に到着したパケットはパケットチェックが行われ，カウンターを増

やしキューにバッファされる．タイマーはパケット到

着に関わらず，定期的に増加する．タイマー，カウン

ターのいずれかが閾値に達した時，ゲートコントロー

ラにゲート ON メッセージを送信しキューのゲートを開く．パケットを送信し終わりキューが空になると，

タイマーとカウンターのリセットを行い，ゲートを

OFF にする．

図 3. Coalescing LPI のブロックダイアグラム

2.3.3. Coalescing LPI の消費電力特性 図 4 に通常の消費電力（No EEE）と理想的な消費

電力（ Ideal），LPI，Coalescing LPI を用いたときの消費電力の比較を示す [4]．比較は 10GBASE-T を想定し

たものである．LPI と比べ，10 パケットおよび 12μ sの閾値を持つ Coalescing LPI の消費電力は低くなっている．さらに，閾値を大きくし 100 パケットおよび 120μ s にすると，理想的な消費電力に極めて近い特性となる．カウンターおよびタイマーの閾値を大きくする

ほど，消費電力はリンク使用率と線形の関係に近づく．

なぜなら，キューにバッファするパケットを増やすこ

とで，送信状態と蓄積状態の遷移する回数が減り，ウ

ェイクやスリープといったパケットの処理に関係のな

い動作が少なくなるためである．Coalescing LPI ではパケットの処理以外の動作の無駄を省くことで消費電

力を削減する．

図 4. No EEE，LPI，Coalescing LPI， Ideal の消費

電力の比較 [4]

2.3.4. Coalescing LPI の問題点 消費電力に関しては，LPI より優れていることは図

4 から明白である．しかし，遅延に関してはその限りではない．図 5 に通常のパケット遅延（No EEE）とLPI，Coalescing LPI を用いたときの遅延の比較を示す[4]．No EEE の 3μ s 程度の遅延に対し，LPI は 7μ s 程度，10 パケットおよび 12μ s の閾値を持つ Coalescing LPI は 12μ s 程度，100 パケットおよび 120μ s の閾値を持つ Coalescing LPI は 70μ s 程度となっている．

図 5. No EEE，LPI，Coalescing LPI， Ideal の遅延

時間の比較 [4] 例えば，LAN (Local Area Network)において 10 個の

スイッチを通るパケットのスループットを考える．

TCP (Transmission Control Protocol)の 大セグメント

サイズを 1460bytes，パケット損失率を 0.001%，スイッチング遅延を 10μ s とすると，LPI を使用したとき（ 7μ s/スイッチ）のスループットの理論値は約10.9Gbps，一方，Coalescing LPI を使用したとき（ 70μ s/スイッチ）のスループットの理論値は約 2.3Gbpsとなり，LPI におけるスループットの 21%程度となってしまう．つまり，Coalescing 機能を使用することで，消費電力は小さくなるが遅延は大きくなってしまい，

結果としてスループットの低下に繋がる．

3. Application Centric EEE (ACEEE)の提案 Coalescing LPI における問題を解決し，アプリケー

ション毎に異なる CoS に対応するため，マルチキューを用いることで Coalescing 機能の効果をより発揮する． 本章では，Coalescing LPI における遅延の問題を解

決するために ACEEE を提案する．

3.1. ACEEE の動作 図 6 に ACEEE の概要を示す．コアネットワーク上

の各アプリケーションパケットは，ルータ /スイッチ内で CoS に分類されマーカーがつけられる．NIC には各CoS に対応するキューがあり，各キューに異なる閾値が設定される．NIC に入ってきたパケットは対応するキューにバッファされる．各キュー内のパケット数が

閾値を超えた時，全てのキューのパケットを順に送信

する．つまり，CoS が同等のアプリケーションに対してそれぞれキューを用意することで，アプリケーショ

ンの特性を維持したまま Coalescing 機能を使用可能となる．遅延を小さくしたいアプリケーションはパケッ

ト閾値を低く，遅延を許容するアプリケーションに対

してはパケット閾値を高く設定可能である．

図 6. ACEEE

3.2. ACEEE のブロックダイアグラム ACEEE を実現にはキュー，パケットカウンター，タ

イマーを CoS の数だけ用意する必要がある．そこで，Coalescing LPI を拡張してハードウェア的に複数のキュー（物理マルチキュー）を用意することを考える．

物理マルチキューを用いた ACEEE のブロックダイアグラムを図 7 に示す． Coalescing LPI と異なる点は，ACEEE ではパケットチェックをする際にパケットの

マーカーを読み取り，そのマーカーに合わせた CoS のカウンターを増やすところにある．パケットのマーカ

ーはチェック後に除去される．各マーカーに対応する

CoS に対して閾値を管理する必要があるため，カウンターとタイマーはそれぞれ CoS の数だけ必要となる．各カウンターとタイマーのいずれかが満たされればゲ

ートは ON になる．パケットが全て送信された後，全てのカウンターとタイマーはリセットされる．

図 7. 物理マルチキューを用いた ACEEE のブロ

ックダイアグラム 図 7 のように設計することで論理的には ACEEE は

実装可能であるが，マルチキューを実装するために，

ハードウェアにおいて複数のキューを用意することは

実用性に欠ける．そこで，物理的にマルチキューを用

意することを避け，シングルキューを用いて論理的に

マルチキュー（論理マルチキュー）を用意する．図 8に論理マルチキューにおける ACEEE のダイアグラムを示す．物理マルチキューと異なる点は，キューおよ

びゲートコントローラを複数使用しないところにある．

タイマーとカウンターはルータのメモリ領域に確保さ

れるため，Coalescing LPI（図 3）から大幅な変更が必要ない．ただし，パケットチェックをする際にマーカ

ーを確認する機能と，マーカーを除去する機能は物理

マルチキューと同様に必要である．論理マルチキュー

では CoS に関わらず FIFO (First In First Out)の動作となる．

図 8. 論理マルチキューを用いた ACEEE のブロ

ックダイアグラム

4. 特性評価 本章では，LPI，Coalescing LPI，ACEEE の消費電力

および遅延について，シミュレーションを用いて比較

し評価する． EEE では 100Mbps，1Gbps，10Gbps のイーサネット

を対象としているが，本研究においては 10Gbps のイーサネットを対象としてシミュレーションを行う．ま

た，簡単のためパケットのデータサイズは 1500bytesで一定とする．アイドル状態における消費電力はアク

ティブ状態の 10%とする．各パラメータをまとめると表 3 の通りである．CoS-1 はリアルタイム性を要求するアプリケーション，CoS-2 は遅延を許容するアプリケーションとする．

表 3. シミュレーション諸元

4.1. 遅延時間 図 9 に LPI，Coalescing LPI，ACEEE の CoS-1 の平

均遅延時間を示す．ACEEE を用いたときの CoS-1 の遅延時間は LPI と同程度であり，Coalescing LPI と比べ大 86%改善している．

図 9. LPI, Coalescing LPI, ACEEE の CoS-1 の遅延時間

図 10 に LPI，Coalescing LPI，ACEEE の CoS-2 の平

均遅延時間を示す．LPIおよび Coalescing LPIは CoS-1，

CoS-2 共に同じ遅延時間である．ACEEE を用いたときの CoS-2の遅延時間は，リンク使用率が低いときは LPIと比べ増大してしまう．

図 10. LPI, Coalescing LPI, ACEEE の CoS-2 の遅

延時間

4.2. 消費電力 図 11 に LPI，Coalescing LPI，ACEEE の CoS-2 の消

費電力を示す．ACEEE は LPI と比べて 大 46%の消費電力を削減しており，Coalescing LPI と同程度であると言える．

図 11. LPI, Coalescing LPI, ACEEE の消費電力

5. 結論 本論文では，優先度の高い CoS に対して遅延時間を小化する ACEEE を提案した．また，CoS 毎に必要

なキューを物理的に複数のキューを用意する物理マル

チキューと，シングルキューを用いて論理的に実装す

る論理マルチキューを提案した．シミュレーションに

より，アプリケーション毎に異なった遅延を確認し，

CoS の高いアプリケーションにおいても低遅延を達成しつつ，LPI と比べ低消費電力であることを確認した．

謝辞 : 本研究の一部は，NICT 委託研究「将来ネットワー

クの実現に向けた超大規模情報 ネットワーク基盤技術に関する研究」の成果です．

文 献 [1] R. Bolla, F. Davoli, R. Bruschi, K. Christensen, F.

Cucchietti, & S. Singh, "The potential impact of green technologies in next-generation wireline networks: Is there room for energy saving optimization?," IEEE Communications Magazine, Vol.49, No.8, pp.80-86, 2011.

[2] F. Berkhout, & J. Hertin, "Impacts of information and communication technologies on environmental sustainability: Speculations and evidence," Report to the OECD, Brighton, 2001.

[3] IEEE P802.3az, Energy Efficient Ethernet Task Force, 2010; http://grouper.ieee.org/groups/802/3/az.

[4] K. Christensen, P. Reviriego, B. Nordman, M. Bennett, M. Mostowfi, & J. A. Maestro, "IEEE 802.3 az: the road to energy efficient ethernet," IEEE Communications Magazine, Vol.48, No.11, pp.50-56, 2010.

[5] F. Cuomo, A. Cianfrani, M. Polverini, &D. Mangione, "Network pruning for energy saving in the Internet," Computer Networks, Vol.56, No.10, pp.2355-2367, 2012.

[6] H. Yonezu, K. Kikuta, D. Ishii, S. Okamoto, E. Oki, & N. Yamanaka, “QoS aware energy optimal network topology design and dynamic link power management,” ECOC, Vol. 3, 2010.

[7] R. Bolla, R. Bruschi, F. Davoli, & F. Cucchietti, "Energy efficiency in the future internet: a survey of existing approaches and trends in energy-aware fixed network infrastructures," IEEE Communications Surveys & Tutorials, Vol.13, No.2, pp.223-244, 2011.

[8] S. Jain, A. Kumar, S. Mandal, J. Ong, L. Poutievski, A. Singh, S. Venkata, J. Wanderer, J. Zhou, M. Zhu, J. Zolla, U. Hölzle, S. Stuart, & A. Vahdat, "B4: Experience with a globally-deployed software defined WAN," SIGCOMM, ACM, pp.3-14, 2013.

[9] M. Mostowfi, & K. Christensen, "Saving energy in LAN switches: New methods of packet coalescing for Energy Efficient Ethernet," Green Computing Conference and Workshops (IGCC), pp.1-8, 2011.

[10] Reducing Data Center Power Consumption with DMA Coalescing; https://www.intelethernet-dell.com/reducing-data-center-power-consumption-with-dma-coalescing/

[11] C. Gunaratne, K. Christensen, & B. Nordman, "Managing energy consumption costs in desktop PCs and LAN switches with proxying, split TCP connections, and scaling of link speed," International Journal of Network Management, Vol.15, No.5, pp.297-310, 2005.

[12] C. Gunaratne, K. Christensen, B. Nordman, & S. Suen, "Reducing the energy consumption of Ethernet with adaptive link rate (ALR)," Computers, IEEE Transactions on, Vol.57, No.4, pp.448-461, 2008.

[13] P. Reviriego, J. A. Maestro, & D. Larrabeiti, "Burst transmission for energy-efficient ethernet," IEEE Internet Computing, Vol.14, No.4, pp.50-57, 2010.