Algorithmic Game Theory, Chapter 2

The Complexity of FindingNash Equilibria

秋葉 拓哉 (B4)

2010/10/22, 今井研究室 輪読 冬学期

1

内容 (1/2)

1. Introduction– 計算量を考える意味，組合せ的側面

2. Is the Nash Equilibrium Problem NP-Complete?– NP 完全ではないこと

3. The Lemke-Howson Algorithm ★– ナッシュ均衡を求めるアルゴリズム

4. The Class PPAD– 問題 Nash が属する計算量クラス

2

内容 (2/2)

5. Succinct Representations of Games– ゲームを入力とする際の入力長に関する考察

6. The Reduction– PPAD 完全，問題 Brower から Nash への帰着

7. Correlated Equilibria ★– 第三者による recommendation と均衡

★ が付いているものは他に比べて多く話す項目

3

2.1 INTRODUCTION計算量を考える意味，組合せ的側面

4

計算量を考える意味

全ての有限ゲームは mixed Nash equibrium を持つ

では，それは簡単に計算できるのか？（先週 LP で解けたのは two-player zero-sum game のみ）

• 経済との関連– “If your laptop cannot find it, neither can the market” (Kamal Jain)– 効率的に計算できない ≒ あまり自然な帰結ではないかもしれない

5

Best responses & Supports

例

用語• pure strategy: 1 つの決定的な戦略• mixed strategy: 確率分布に従って戦略を決定する

(pure strategy mixed strategy)⊂

• best response: payoff の期待値が最良となる strategy 　 ( 相手の strategy は given)• support: ある mixed strategy で確率が正となっている pure strategy

自分の

戦略

相手の戦略

数字は payoff

相手の mixed strategy が (0, 1/3, 2/3)

自分の best response も (0, 1/3, 2/3)

Support は strategy 2, 3 の 2 つ6

組合せ的問題であること (1/2)以降，問題 Nash について考えてゆく．

Best response と support に関わる定理

略証 背理法による． best response でない strategy が含まれていたら，それを取り除いた方がより良くなるので矛盾．

定義 Nash ( 問題 )ゲームが strategic form で与えられた時，ナッシュ均衡を 1 つ求めよ．

定理 2.1 ある mixed strategy が best response⇔ その strategy の support が全て best response

これは pure strategy

7

組合せ的問題であること (2/2)

support が得られれば，連立方程式が立つ–特に 2-player の場合は 線形

組合せ的であると言える

ナッシュ均衡を探すこと≒

正しい support を探すこと

8

2.2 IS THE NASH EQUILIBRIUM PROBLEM NP-COMPLETE?

NP 完全ではないこと

9

問題 Nash は NP 完全ではない

• 問題 Nash は，全てのゲームはナッシュ均衡を持つという点で特殊

• Nash が NP 完全であることを仮定すると， NP=coNP となってしまう（証明略）

• よって， Nash は NP 完全ではないと考えられる

10

Brower’s fixpoint theorem

• ナッシュ均衡の存在証明はこの定理への帰着

• Brower’s fixpoint を探すことは，やはり難しい問題として知られている

• 実はさらに， Brower’s fixpoint を探すことを Nash へ帰着できる！（後述）

Brower’s fixpoint theorem任意の連続関数 f : Un → Un (Un : n 次元単位球 ) は不動点を持つ（不動点： f(x) = x なる点）

11

2.3 THE LEMKE-HOWSON ALGORITHMナッシュ均衡を求めるアルゴリズム

12

Lemke-Howson Algorithm

• 2-player game の Nash 均衡を求める最良の組合せ的アルゴリズムの 1 つ

• support の組合せ的構造を用いる

• simplex pivoting を繰り返す

13

Symmetric Game への帰着 (1/2)

定義 Symmetric Nash ( 問題 )Symmetric game が与えられたとき， symmetric Nash equilibrium を 1 つ求めよ

用語• symmetric game: 行列 A, B で表される bimatrix game で A = BT

（つまり，相手と自分は全くおなじ状況）

• symmetric Nash equilibrium: 2 人がおなじ mixed strategy での Nash equilibrium

14

Symmetric Game への帰着 (2/2)

略証 行列 A, B で表される 2-player game について，

で表される symmetric game を考え，その symmetric Nash equilibrium を(x, y) とおく．（ A の行数を m としたとき， x は最初の m 要素とする）

このとき， x は y への best response ， y は x への best response ．

定理 2.4 Nash から Symmetric Nash への polynomial reduction が存在

よって，以下では Symmetric Nash を考える

15

凸多面体 (1/3)

n × n 行列 A で表現される symmetric 2-player game – WLOG. A の要素はすべて非負，全て 0 の行なし

以下の凸多面体 P を考える

性質 :空でない ，有界

以下，非退化 (nondegenerate) を仮定

Az 1≦ ， z 0≧

(2n 個の不等式 )

16

凸多面体 (2/3)

Az 1≦ ， z 0≧

用語• represented: 以下の 1 つ以上が満たされるとき，戦略 i は represented• zi = 0• Aiz = 1

• represented twice: 両方が満たされている時

17

凸多面体 (3/3)

頂点 z (≠ 0) において全ての戦略が represented のとき，

なる x は symmetric Nash equilibrium である．

略証 Aiz = 1 の戦略 i は best strategy ，全ての support は best strategy

Az 1≦ ， z 0≧

よって，全ての戦略が represented となる(0 以外の ) 頂点を探したい！

（和が 1 になるように正規化）

18

Pivoting (1/5)

• degenerate の仮定より，各頂点は n 個の隣接点を持つ

• 隣接点への移動は，以下と同じ– 1 つの tight な不等式を relax し (tight ではなくし ) ，– 別のある 1 つの tight でない 不等式を tight にする

• 戦略 1 以外の全ての戦略が represented となっている頂点集合 V を考える– 0 は全ての戦略が represented ， 0 ∈ V のため空でない

• V の中でのパス <v0, v1, v2 , …> を考える

19

Pivoting (2/5)

アルゴリズム Lemke-Howson

• 初期化– 頂点 0 からスタート， v0 = 0

– v0 から，第 1 要素のみ非ゼロの隣接頂点 v1 に移動• ここでは，戦略 1 以外の戦略は全て represented• よって， v1 ∈ V

（次スライドへ続く）

20

Pivoting (3/5)

アルゴリズム Lemke-Howson

( 前スライドの続き )

• i = 1, 2, … で繰り返す– 全ての戦略が represented ⇒ 完了！– そうでないなら，ある戦略 j (j > 1) が represented twice のはず

• n 個の tight な不等式， n-1 個の represented な戦略，鳩の巣原理• vij = 0 かつ Ajvi = 1

– j に関する 2 つの不等式の片方を relax して vi+1 とする• 2 つの可能性のうち片方は vi-1 なので，そうでない方を選ぶ

21

Pivoting (4/5)

例

• 頂点に書いてあるのは represented な戦略の集合• 肩に 2 と書いてあるものは represented twice

細かいこと

この図の例では，戦略 1 の代わりに戦略 2 がrepresented でないことを許している．

22

Lemke-Howson が終了すること：– ループは有り得ない

• V の点で V に含まれる隣接点は 2 つ以下– 0 にも戻らない

• 0 の V に含まれる隣接点は 1 つ

これは， two-player, nondegenerate game に mixed Nash equilibrium が存在することの証明でもある

残念ながら， Lemke-Howson は効率的とは言えない– 頂点の個数が指数的に増加

Pivoting (5/5)

有り得ない状況

23

2.4 THE CLASS PPAD 問題 Nash が属する計算量クラス

24

クラス PPAD

• Lemke-Howson は path のようなグラフの上を辿る– 各頂点，入次数・出次数 1 以下– 1 つの source が既知 (standard source)– 頂点数が指数的に増加– 別の source あるいは sink が解– （他にも条件…）

• 同様の状況となる問題が知られている– Approximate Brouwer fixpoint– Ham Sandwitch

• n 次元上の 2n 個の点が与えられ，半分に分割する超平面を求める

• これらの問題の計算量クラスを PPAD と呼ぶ– Polynomial Parity Arguments on Directed graphs

25

クラス PPAD-Complete

• PPAD-Complete となる問題が存在する– 全ての PPAD の問題を帰着可能

• Brower, Nash は PPAD-Complete– Section 2.6 で示されること

26

2.5 SUCCINCT REPRESENTATIONS OF GAMES

ゲームを入力とする際の入力長に関する考察

27

問題 Nash の入力長問題 Nash ではゲームが入力だが，ゲームの記述の長さはどうなる

のか？

全ての組み合わせに関する payoff を与える方法

• 2-player の場合– 戦略の個数が m と n なら， 2mn 個の数

• n-player の場合– 戦略の個数が s なら， nsn 個の数 （とても大きい！）– 自明なアルゴリズムが n に関して多項式になる…

• 全ての support の組み合わせを試せばよい， (2s)n 通り

大きい人数の問題を考える際，これは好ましくない

28

Succinctly Representable なゲーム

入力としてより簡潔に表現できるゲーム

• Graphical Games– プレーヤの関係のグラフが存在– 隣接するプレーヤの戦略のみが自分の payoff に影響

• その他– Sparse Games: nsn 個の paoyff の一部だけが非ゼロ– Symmetric Games: プレーヤは全て同じ– Anonymous Games: 他のプレーヤは全て同じ

• それ以外にもいっぱいあります

以降は Succinctly Representable なゲームを扱う

29

2.6 THE REDUCTIONPPAD 完全，問題 Brower から Nash への帰着

30

証明されること

• 問題 Brower が PPAD-Complete であることは既知– Brower は Brower’s fixpoint を探す問題を離散化した物

• 問題 Brower を問題 Nash に帰着する– Nash が PPAD-Complete であると分かる– ここで Brower は unit cube 上とする

31

概要

Brower のインスタンスから Graphical Game を作る

• 全てのプレーヤは 0, 1 の 2 つの戦略 のみ– mixed strategy は [0, 1] の 1 つの実数で表せる

• 3 人のプレーヤが cube 上の座標を表す• 残りのプレーヤが Brower の関数をシミュレートし，

不動点でないと均衡が起こらないようにする

証明の詳細は省略

32

2.7 CORRELATED EQUILIBRIA第三者による recommendation と均衡

33

ゲーム Chicken (1/3)

下の行列で表される symmetric game

（交差点で，止まるか・進むか）

自分止まる

進む

止まる 進む

相手

34

ゲーム Chicken (2/3)

Nash equilibrium における戦略の確率分布： 3 通り

確率分布が下のようになるのは自然– 半分の確率でどちらかが進む

しかし，これは Nash equibrium では得られない

35

ゲーム Chicken (3/3)

この確率分布を得るためには，第三者が必要– 交差点の例では，信号のようなもの

第三者が各プレーヤの戦略を recommendation として指定することを考える

36

Correlated Equilibrium (1/3)

定義 correlated equilibriumrecommendation の確率分布であって，全プレーヤについて self-enforcing なもの

用語• self-enforcing: 他のプレーヤが従うならば自分も従うのが最良であるような recommendation ( の分布 ) の状況

• 各プレーヤが受け取るのは自分についての recommendation のみ• 全体への recommendation ではない

• 各プレーヤは全体への recommendation の分布は知っている• 期待値的に self-enforcing であればよい

37

Correlated Equilibrium (2/3)

式で表現 （この式を以降 CE と呼ぶ）プレーヤ i が戦略 j を recommend された状況での条件

• S-i : プレーヤ i を除いた全プレーヤの戦略の組合せ• sj, sj’ : プレーヤ i 以外の戦略を s, プレーヤ i の戦略

を j, j’• us : payoff

• ps : recommendation の確率分布

38

Correlated Equilibrium (3/3)

ゲーム Chicken での CE の例

CE 不等式は ps に関して線形なので，Correlated Nash equilibrium は LP で求まる！

39

Correlated vs Nash普通の mixed Nash equilibrium は， Correlated equilibrium の特殊なケース

– Nash equilibrium Correlated equilibrium⊂

• Mixed Nash equilibrium: 計算困難• Correlated equilibrium: 多項式時間で計算可能

（ 3 人以上の場合はその限りではない）

定理 2.5 nondegenerate 2-player game において Nash equilibria は CE 不等式で作られる多面体の頂点

40