32
1 情報伝播研究会’12.3) 複雑ネットワーク上での確率的伝搬と カスケード現象に関する研究動向 生天目 防衛大学校情報工学科 www.nda.ac.jp/~nama

複雑ネットワーク上での確率的伝搬と カスケード現 …nama/Top/InvitedTalk/12-3-28-1.pdfGen1 Actual Gen1 Fit and Forecast Gen2 Actual Gen2 Fit and Forecast Gen3

Embed Size (px)

Citation preview

Page 1: 複雑ネットワーク上での確率的伝搬と カスケード現 …nama/Top/InvitedTalk/12-3-28-1.pdfGen1 Actual Gen1 Fit and Forecast Gen2 Actual Gen2 Fit and Forecast Gen3

1 情報伝播研究会’12.3)

複雑ネットワーク上での確率的伝搬とカスケード現象に関する研究動向

生天目 章防衛大学校情報工学科www.nda.ac.jp/~nama

Page 2: 複雑ネットワーク上での確率的伝搬と カスケード現 …nama/Top/InvitedTalk/12-3-28-1.pdfGen1 Actual Gen1 Fit and Forecast Gen2 Actual Gen2 Fit and Forecast Gen3

2 情報伝播研究会’12.3)

– Basic Literatures of Diffusion and  Cascade

– Agent –based Diffusion in Networks

– Epidemic (Probabilistic )Diffusion Models

– Optimizing  of Probabilistic Diffusion

– Cascade Dynamics with Threshold Rules

– Optimizing  of Cascade 

– Final Remarks

Outline

Page 3: 複雑ネットワーク上での確率的伝搬と カスケード現 …nama/Top/InvitedTalk/12-3-28-1.pdfGen1 Actual Gen1 Fit and Forecast Gen2 Actual Gen2 Fit and Forecast Gen3

3 情報伝播研究会’12.3)

<positive diffusion>

• Diffusion of innovation

<negative diffusion>

• Epidemic diffusion

• Failure (risk) diffusion

Ex: i-phoneS4 vs. Xperia

Ex: domino effect

Diffusion in Network

Page 4: 複雑ネットワーク上での確率的伝搬と カスケード現 …nama/Top/InvitedTalk/12-3-28-1.pdfGen1 Actual Gen1 Fit and Forecast Gen2 Actual Gen2 Fit and Forecast Gen3

4 情報伝播研究会’12.3)

Aim (1) • Concept of “diffusion” arise quite generally in social sciences

– Diffusion of innovations– Spread of infectious disease

• Concept of “cascade” arises in social sciences and engineering– Cascade phenomena– Cascade failure

• Concept of “systemic risk” arises quite recently – Emergence of collective belief– Transmission of financial distress

We would like to understand in what sense these concepts are the same and how they are different. 

Page 5: 複雑ネットワーク上での確率的伝搬と カスケード現 …nama/Top/InvitedTalk/12-3-28-1.pdfGen1 Actual Gen1 Fit and Forecast Gen2 Actual Gen2 Fit and Forecast Gen3

5 情報伝播研究会’12.3)

Aim (2)

・Relationship between diffusion and network topology・What types of networks are optimal for maximum or minimum diffusion?

positive type <promotion>

negative type<inhibition>

diffusion

RegularRegular RandomRandom Scale freeScale freeSmall worldSmall world

Other networks?Other 

networks?

Page 6: 複雑ネットワーク上での確率的伝搬と カスケード現 …nama/Top/InvitedTalk/12-3-28-1.pdfGen1 Actual Gen1 Fit and Forecast Gen2 Actual Gen2 Fit and Forecast Gen3

6 WEHIA‘08 (Taipei)

Penetration of Technological Innovation

6

Color TV

Mobile phone

Personal computer

DVD

VIDEO camera

year

JapanHistorical Data: Diffusion of Innovation

Diffusion curves with different shapesPenetration rate

Page 7: 複雑ネットワーク上での確率的伝搬と カスケード現 …nama/Top/InvitedTalk/12-3-28-1.pdfGen1 Actual Gen1 Fit and Forecast Gen2 Actual Gen2 Fit and Forecast Gen3

7 情報伝播研究会’12.3)

Macroscopic Diffusion Model: Bass Model• f(t)=(p+qF(t))[1‐F(t)]: Hazard Model• f(t): the rate of the adoption (growth rate)• F(t): cumulative proportion of adoption• p=coefficient of innovation• q=coefficient of imitation

individuals who already adopted

individuals who are unaware

Special Cases:

q=0: Exponential Distribution

p=0: Logistic Distribution,

f(t) = [p+qF(t)] [(1-F(t)]

external effect (advertising)

Generations of Mainframe Computers (Performance Units) 1974-1992

0

20000

40000

60000

80000

100000

120000

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19

Year

Sale

s

Gen1 Actual Gen1 Fit and Forecast Gen2 Actual Gen2 Fit and Forecast

Gen3 Actual Gen3 Fit and Forecast Gen4 Actual Gen4 Fit and Forecast

Page 8: 複雑ネットワーク上での確率的伝搬と カスケード現 …nama/Top/InvitedTalk/12-3-28-1.pdfGen1 Actual Gen1 Fit and Forecast Gen2 Actual Gen2 Fit and Forecast Gen3

8 WEHIA‘08 (Taipei)

Diffusion on Networks<Two-step flow model>

• Describe the flow of information from media to population and the formation of public opinion.

: media → influentials → others influentials

individuals

<Mutual influence model>

D. Watts (2007): Influentials, networks and public opinion formation, Journal of consumer research

Average individuals become much more influent than influentials.

Page 9: 複雑ネットワーク上での確率的伝搬と カスケード現 …nama/Top/InvitedTalk/12-3-28-1.pdfGen1 Actual Gen1 Fit and Forecast Gen2 Actual Gen2 Fit and Forecast Gen3

9 情報伝播研究会’12.3)

Diffusion and Contagion

9K: time

Burst diffusionSlow start then rapid spread

Diffusion with critical mass

•We want to characterize macroscopic diffusion patterns from the individual decision level (agent‐based modeling)

•We analyze the network properties that allow or prohibit the wide spread propagation of innovation

Typical Macroscopic Diffusion Patterns

•Question 1: How do we induce individual behaviors behind a specific macroscopic diffusion pattern?  

•Question 2: How do we induce the network topology behind a specific macroscopic diffusion pattern?

Page 10: 複雑ネットワーク上での確率的伝搬と カスケード現 …nama/Top/InvitedTalk/12-3-28-1.pdfGen1 Actual Gen1 Fit and Forecast Gen2 Actual Gen2 Fit and Forecast Gen3

10 情報伝播研究会’12.3)

Social influenceAGENT

Social network changes an agent’s behaviour

(1) Preference heterogeneity(2) Social influence (3) Social Networks

Agent preference

Preference determines an agent’s behaviour

Social influence changes an agent’s behaviour

An Agent-based Model

Which itemsto buy?

No purchase

Page 11: 複雑ネットワーク上での確率的伝搬と カスケード現 …nama/Top/InvitedTalk/12-3-28-1.pdfGen1 Actual Gen1 Fit and Forecast Gen2 Actual Gen2 Fit and Forecast Gen3

11 情報伝播研究会’12.3)

A Binary Decision Model with Social Influence

Individual preference μ

Social trendF(t)Social influence α

)()1()1( tFtp αμα +−=+

Probability of choosing A at time t

11

α∈[0,1] : social influence factor

A

preference social trendF(t): the proportion of the agents to choose A

)}()(/{)()( tBtAtAtF

B

+=

Page 12: 複雑ネットワーク上での確率的伝搬と カスケード現 …nama/Top/InvitedTalk/12-3-28-1.pdfGen1 Actual Gen1 Fit and Forecast Gen2 Actual Gen2 Fit and Forecast Gen3

12 情報伝播研究会’12.3)

Experiments:

12

α = {0.1, 0.5, 1}, μ=1,

Rate of penetration:・α=0.1 (very weak social influence)> Monotonically increasing・ α=0.5 (mild social influence)> S-shape function・ α=1 (very strong social influence)> step function

)()1()1( tFtp αμα +−=+

)10( << α

Speed of penetration:・α=0.1 (very weak social influence)> Monotonically decreasing・ α=0.5 (mild social influence)> steady-decreasing・ α=1 (very strong social influence)> increasing-decreasing

α=1

α=1

α=0.1

α=0.1α=0.5

α=0.5

Page 13: 複雑ネットワーク上での確率的伝搬と カスケード現 …nama/Top/InvitedTalk/12-3-28-1.pdfGen1 Actual Gen1 Fit and Forecast Gen2 Actual Gen2 Fit and Forecast Gen3

13 情報伝播研究会’12.3)

Empirical Study(1): Household Products

car

Fan heater

Color TV

PC

(%)(%)

Page 14: 複雑ネットワーク上での確率的伝搬と カスケード現 …nama/Top/InvitedTalk/12-3-28-1.pdfGen1 Actual Gen1 Fit and Forecast Gen2 Actual Gen2 Fit and Forecast Gen3

14 情報伝播研究会’12.3)

Empirical Study: Household Products (cont.)weak social influence

Fan heater PC

Car Color TV

strong social influence

Page 15: 複雑ネットワーク上での確率的伝搬と カスケード現 …nama/Top/InvitedTalk/12-3-28-1.pdfGen1 Actual Gen1 Fit and Forecast Gen2 Actual Gen2 Fit and Forecast Gen3

15 情報伝播研究会’12.3)

1st rank

2nd

rank:3000

rank:4000

rank: 3000

rank:4000

x104

best seller

second best seller

Empirical Study(2): Magazine Sales

weak social influence

strong social influence

Top sales low sales

Page 16: 複雑ネットワーク上での確率的伝搬と カスケード現 …nama/Top/InvitedTalk/12-3-28-1.pdfGen1 Actual Gen1 Fit and Forecast Gen2 Actual Gen2 Fit and Forecast Gen3

16 情報伝播研究会’12.3)

Summary: 

K: time

S-shape: Slow start then rapid spread Diffusion with critical massBurst diffusion

social influence: very low social influence: mild social influence: very strong

)()1()1( tFtp αμα +−=+

Macroscopic phenomena

Individual characteristic: α

1.0=α 5.0=α 1=α

Social influence level determines the shape of diffusion patterns

Page 17: 複雑ネットワーク上での確率的伝搬と カスケード現 …nama/Top/InvitedTalk/12-3-28-1.pdfGen1 Actual Gen1 Fit and Forecast Gen2 Actual Gen2 Fit and Forecast Gen3

17 情報伝播研究会’12.3)

Probabilistic Diffusion

Epidemic diffusion model: <SIS model>

• Consider a fixed population of size N• Each individual is in one of three states:susceptible (S), infected (I), recover & susceptible (S)

S I Sβ j

i

δ

Page 18: 複雑ネットワーク上での確率的伝搬と カスケード現 …nama/Top/InvitedTalk/12-3-28-1.pdfGen1 Actual Gen1 Fit and Forecast Gen2 Actual Gen2 Fit and Forecast Gen3

18 情報伝播研究会’12.3)

An Epidemic Diffusion Model

18

α

Awareness=0Preference=0Adoption=0

Awareness=1Preference=0Adoption=0

Awareness=1Preference=1Adoption=0

Awareness=1Preference=1Adoption=1

Mizuno (2008) β

Each individual is in one of three cognitive states:Susceptible (S) (unaware, also inactive, non-adopter)Infected (I) (aware, also active, informed, adopter)Removed (R) (lose interest or forget)

aware

lose interest or forget

Agent State Transitions

Page 19: 複雑ネットワーク上での確率的伝搬と カスケード現 …nama/Top/InvitedTalk/12-3-28-1.pdfGen1 Actual Gen1 Fit and Forecast Gen2 Actual Gen2 Fit and Forecast Gen3

19 情報伝播研究会’12.3)

Epidemic Dynamics• The expected state of the system at time t is given by

• As t  ∞

• the probability that all copies die converges to 1

• the probability that all copies die converges to 1

• the probability that all copies die converges to a constant < 1

( )( ) 1tt −−+= vIAv δβ 1

( )( ) ( ) 0 then ,λ11λ if t11 →<⇔<−+ vAIA βδδβ

( )( ) ( ) cvAIA →=⇔=−+ t11 then ,λ11λ if βδδβ

( )( ) ( ) ∞→=⇔>−+ t11 then ,λ11λ if vAIA βδδβ

( )A1λ The largest eigenvalue of the adjacent matrix A

vi :the probability of being infected of node iv=(v1,v2,…,vN)

Page 20: 複雑ネットワーク上での確率的伝搬と カスケード現 …nama/Top/InvitedTalk/12-3-28-1.pdfGen1 Actual Gen1 Fit and Forecast Gen2 Actual Gen2 Fit and Forecast Gen3

20 情報伝播研究会’12.3)

Threshold of Epidemic Spread

• The virus spreads if   λ>1/λ1(A)

• The virus dies out if   λ<1/λ1(A)

)(1

1 Ac λλ =

5 4

⎟⎟⎟⎟⎟⎟

⎜⎜⎜⎜⎜⎜

0100110001000010000111110

Adjacency matrix

)(1 Aλ

Network

Largest eigenvalue

δβλ /=Relative propagation probability:

threshold

Page 21: 複雑ネットワーク上での確率的伝搬と カスケード現 …nama/Top/InvitedTalk/12-3-28-1.pdfGen1 Actual Gen1 Fit and Forecast Gen2 Actual Gen2 Fit and Forecast Gen3

21 情報伝播研究会’12.3)

Largest Eigenvalues

: the largest eigenvalue of the adjacency matrix Amaxλstar

1λ max −= N

complete

1λ max −= N

random

>=<= kpNmaxλ

Multi Hub

Scale free

4/1maxλ N≅

p: connection probability<k>: average degree

average max maxd dλ≤ ≤

max 2maxTx Axx

λ =

max max maxd dλ≤ ≤If G is regular of degree d, then max .dλ =

Page 22: 複雑ネットワーク上での確率的伝搬と カスケード現 …nama/Top/InvitedTalk/12-3-28-1.pdfGen1 Actual Gen1 Fit and Forecast Gen2 Actual Gen2 Fit and Forecast Gen3

22 情報伝播研究会’12.3)

Network Optimization (1)

• Objective function: Maximization of diffusion– Find network which have lowest number of E by genetic algorithm

– First term maximize largest eigenvalue

– Second term minimize average degree

1)1(

)(1

1 −><

−+=n

kA

E ωλ

ω

Page 23: 複雑ネットワーク上での確率的伝搬と カスケード現 …nama/Top/InvitedTalk/12-3-28-1.pdfGen1 Actual Gen1 Fit and Forecast Gen2 Actual Gen2 Fit and Forecast Gen3

23 情報伝播研究会’12.3)

Network Optimization (2)

• Objective function: Minimization of diffusion– Find network which have lowest number of E by genetic algorithm

– First term minimize largest eigenvalue

– Second term maximize average degree

><−+= kAE /)1()(1 ωωλ

Page 24: 複雑ネットワーク上での確率的伝搬と カスケード現 …nama/Top/InvitedTalk/12-3-28-1.pdfGen1 Actual Gen1 Fit and Forecast Gen2 Actual Gen2 Fit and Forecast Gen3

24 情報伝播研究会’12.3)

Stochastic Optimization (1)

• Simulated annealing – Probabilistic algorithm for the optimization problem– Rewiring trials - Rewiring a randomly selected link– Fitness function to be optimized: Q

– if δQ = Qfinal − Qinitial < 0accept rewiring

N = 50, and <k> = 4

Optimized network

Page 25: 複雑ネットワーク上での確率的伝搬と カスケード現 …nama/Top/InvitedTalk/12-3-28-1.pdfGen1 Actual Gen1 Fit and Forecast Gen2 Actual Gen2 Fit and Forecast Gen3

25 情報伝播研究会’12.3)

Stochastic Optimization (2) Generic Algorithm

Crossover rate :0.7Mutation rate : 2/nC2Number of Individuals :10

(networks)

Generic code representation

Networks and adjacency matrix

Page 26: 複雑ネットワーク上での確率的伝搬と カスケード現 …nama/Top/InvitedTalk/12-3-28-1.pdfGen1 Actual Gen1 Fit and Forecast Gen2 Actual Gen2 Fit and Forecast Gen3

26 情報伝播研究会’12.3)

Some Evolved Networks • The largest eigenvalue λ1

• Object function

(to be minimized)

Hub network All connected

A Kind of scale-free (KN network) is optimal for maximum diffusion

ω=0.1 ω=0.5 ω=0.9

D=46α=1.98

D=50α=1.98

λ1=8.43λn=-3.41

D=48α=1.98

ω=1

λ1=100.0λn=-1.98

D=2α=98.988

ω=0.92

λ1=8.18λn=-2.96

D=14α=2.52

ω=0.95

λ1=10.27λn=-2.98

D=11α=2.88

ω=0.98

λ1=14.2λn=-3.21

D=9α=3.

Core-dense network

><−+= kF )1(/ 1 ωλω

Page 27: 複雑ネットワーク上での確率的伝搬と カスケード現 …nama/Top/InvitedTalk/12-3-28-1.pdfGen1 Actual Gen1 Fit and Forecast Gen2 Actual Gen2 Fit and Forecast Gen3

27 情報伝播研究会’12.3)

Comparative Study

RandomRandom BABA CPACPARandom RegularRandom RegularTorusTorus

・Relationship between diffusion and network topology・What types of networks are optimal to diffuse?

(maximization vs. minimization of diffusion)

41 =λ 41 =λ 2.51 =λ 121 =λ 331 =λ

The largest eigenvalue of the adjacency matrix A

minimum diffusionmaximum diffusion

Power lawi) BA(Barabasi-Albert)  λ =3

ii) Scale Free

λ−= Ckkp )(

32 <≤ λ

Page 28: 複雑ネットワーク上での確率的伝搬と カスケード現 …nama/Top/InvitedTalk/12-3-28-1.pdfGen1 Actual Gen1 Fit and Forecast Gen2 Actual Gen2 Fit and Forecast Gen3

28 情報伝播研究会’12.3)

Cascade in Socio-economic Networks

<Many social-economic networks show cascading effects>

initial disturbance in some area

Largest blackout

Internet congestion collapse

Drop in speed of a factor 100

Power gridsInternet

Page 29: 複雑ネットワーク上での確率的伝搬と カスケード現 …nama/Top/InvitedTalk/12-3-28-1.pdfGen1 Actual Gen1 Fit and Forecast Gen2 Actual Gen2 Fit and Forecast Gen3

29 情報伝播研究会’12.3)

Cascade in Finance

29

NY Stock Prices

NY Oil Prices

Cascade

Page 30: 複雑ネットワーク上での確率的伝搬と カスケード現 …nama/Top/InvitedTalk/12-3-28-1.pdfGen1 Actual Gen1 Fit and Forecast Gen2 Actual Gen2 Fit and Forecast Gen3

30 情報伝播研究会’12.3)

Cascade: Blackout• Concepts of “cascade” arise quite generally in computer 

science, social sciencesOne application component can trigger failures in others.

The down of some sub‐systems can make the entire system down. 

Blackout Hits U.S. and Canadian Cities     Aug. 14, 2003.

Before After

Failure makes another failure How about global cascade ? Initial failure break the system completely.

Page 31: 複雑ネットワーク上での確率的伝搬と カスケード現 …nama/Top/InvitedTalk/12-3-28-1.pdfGen1 Actual Gen1 Fit and Forecast Gen2 Actual Gen2 Fit and Forecast Gen3

31 情報伝播研究会’12.3)

A Cascade Model with Threshold RuleEach node with a binary state shifts depending on the 

states of neighboring nodes 

: A binary decision rule of a consumer 

phone4s)-(i 1 x to(Xperia) 0 xfromshift /)1(#

ii ==≥= φii kxofif : threshold of consumer i

Ex: i‐phone4s vs. XperiaGOGO! Docomo!

φ

Page 32: 複雑ネットワーク上での確率的伝搬と カスケード現 …nama/Top/InvitedTalk/12-3-28-1.pdfGen1 Actual Gen1 Fit and Forecast Gen2 Actual Gen2 Fit and Forecast Gen3

32 情報伝播研究会’12.3)

Cascade Window– Cascade occurs on limited sizes of the average degree

– Robust‐yet‐Fragile property

The frequency of global cascades 

Largest connected components (cluster size) of the network  

zSeS −−=1

z [Average degree]

1000Cascade of #

=

Cascade size# of Node: N=500,