Gozar: NAT­friendly Peer Sampling with One­Hop Distributed NAT Traversal – Amir H. PayberahJune 6, 2011 1

Gozar: NAT­friendly Peer Sampling with One­Hop Distributed NAT Traversal

Amir H. Payberah – Jim Dowling – Seif Haridi{amir,jdowling,seif}@sics.se

Gozar: NAT­friendly Peer Sampling with One­Hop Distributed NAT Traversal – Amir H. PayberahJune 6, 2011 2

Introduction

  Gozar: NAT­friendly Peer Sampling with One­Hop Distributed NAT Traversal – Amir H. Payberah 3June 6, 2011

Gossip­based Peer Sampling Service

● Gossip­based peer sampling services (PSS) have been widely used in large scale distributed applications.

Information dissemination

Aggregation

Overlay topology management

● A PSS provides a node with a uniform random sample of live nodes from all nodes in the system (partial view).

Gozar: NAT­friendly Peer Sampling with One­Hop Distributed NAT Traversal – Amir H. Payberah 4June 6, 2011

Gossip­based Peer Sampling Protocol (1/7)

n1n2

n3

n4n5

n6n7

n8

n9

n10

n11

Gozar: NAT­friendly Peer Sampling with One­Hop Distributed NAT Traversal – Amir H. Payberah 5June 6, 2011

Gossip­based Peer Sampling Protocol (2/7)

n1n2

n3

n4n5

n6n7

n8

n9

n10

n11

n8n7n10n5

n1n6n3n11

Gozar: NAT­friendly Peer Sampling with One­Hop Distributed NAT Traversal – Amir H. Payberah 6June 6, 2011

Gossip­based Peer Sampling Protocol (3/7)

n1n2

n3

n4n5

n6n7

n8

n9

n10

n11

n8n7n10n5

n1n6n3n11

shuffle request

n8n7

Gozar: NAT­friendly Peer Sampling with One­Hop Distributed NAT Traversal – Amir H. Payberah 7June 6, 2011

Gossip­based Peer Sampling Protocol (4/7)

n1n2

n3

n4n5

n6n7

n8

n9

n10

n11

n8n7n10n5

n1n6n3n11

shuffle response

n1n6

n8n7

Gozar: NAT­friendly Peer Sampling with One­Hop Distributed NAT Traversal – Amir H. Payberah 8June 6, 2011

Gossip­based Peer Sampling Protocol (5/7)

n1n2

n3

n4n5

n6n7

n8

n9

n10

n11

n8n7n10n5

n1n6n3n11

n1n6

n8n7

Gozar: NAT­friendly Peer Sampling with One­Hop Distributed NAT Traversal – Amir H. Payberah 9June 6, 2011

Gossip­based Peer Sampling Protocol (6/7)

n1n2

n3

n4n5

n6n7

n8

n9

n10

n11

n8n7n10n5

n1n3n6n11

n1n6

n8n7

UpdateState

UpdateState

Gozar: NAT­friendly Peer Sampling with One­Hop Distributed NAT Traversal – Amir H. Payberah 10June 6, 2011

Gossip­based Peer Sampling Protocol (7/7)

n1n2

n3

n4n5

n6n7

n8

n9

n10

n11

n8n7n10n5

n1n3n3n11

n1n6

n8n7

Gozar: NAT­friendly Peer Sampling with One­Hop Distributed NAT Traversal – Amir H. Payberah 11June 6, 2011

Gossip­based Peer Sampling Design Space

● Peer Selection

● View Exchange

● View Mergen1

n2

n3

n4

n6n7

n8

n9

n10

n11

Gozar: NAT­friendly Peer Sampling with One­Hop Distributed NAT Traversal – Amir H. Payberah 12June 6, 2011

Gossip­based Peer Sampling Design Space

● Peer Selection Random

Tail

● View Exchange Push

Push­Pull

● View Merge Blind

Healer

Swapper

n1n2

n3

n4

n6n7

n8

n9

n10

n11

Gozar: NAT­friendly Peer Sampling with One­Hop Distributed NAT Traversal – Amir H. PayberahJune 6, 2011 13

Problem Description

Gozar: NAT­friendly Peer Sampling with One­Hop Distributed NAT Traversal – Amir H. Payberah 14June 6, 2011

NAT Environments (1/4)

n1

n2n3

n4

n5

n6

n7

n8

n9

n10

n11

Private node

Public node

shuffle request

Gozar: NAT­friendly Peer Sampling with One­Hop Distributed NAT Traversal – Amir H. Payberah 15June 6, 2011

NAT Environments (1/4)

n1

n2n3

n4

n5

n6

n7

n8

n9

n10

n11

Private node

Public node

shuffle response

Gozar: NAT­friendly Peer Sampling with One­Hop Distributed NAT Traversal – Amir H. Payberah 16June 6, 2011

NAT Environments (1/4)

n1

n2n3

n4

n5

n6

n7

n8

n9

n10

n11

Private node

Public node

shuffle response

UpdateState

UpdateState

Gozar: NAT­friendly Peer Sampling with One­Hop Distributed NAT Traversal – Amir H. Payberah 17June 6, 2011

NAT Environments (1/4)

n1

n2n3

n4

n5

n6

n7

n8

n9

n10

n11

Private node

Public node

shuffle request

Gozar: NAT­friendly Peer Sampling with One­Hop Distributed NAT Traversal – Amir H. Payberah 18June 6, 2011

Impact of NATs on PSS' (1/2)

● Size of the biggest cluster for an increasing percentage of NATs.

[A.M.Kermarrec – ICDCS'09]

Gozar: NAT­friendly Peer Sampling with One­Hop Distributed NAT Traversal – Amir H. Payberah 19June 6, 2011

Impact of NATs on PSS' (2/2)

● Ratio of non­stale references to private nodes.

[A.M.Kermarrec – ICDCS'09]

Gozar: NAT­friendly Peer Sampling with One­Hop Distributed NAT Traversal – Amir H. Payberah 20June 6, 2011

Solutions for Communicating with Private Nodes (1/3)

● Relay communications to the private node using a public relay node.

Gozar: NAT­friendly Peer Sampling with One­Hop Distributed NAT Traversal – Amir H. Payberah 21June 6, 2011

Solutions for Communicating with Private Nodes (2/3)

● Use a NAT hole­punching algorithm to establish a direct connection to the private node using a public rendezvous node.

Gozar: NAT­friendly Peer Sampling with One­Hop Distributed NAT Traversal – Amir H. Payberah 22June 6, 2011

Solutions for Communicating with Private Nodes (3/3)

● Route the request to private nodes using chains of existing open connections (of unbounded length).

Gozar: NAT­friendly Peer Sampling with One­Hop Distributed NAT Traversal – Amir H. Payberah 23June 6, 2011

Research Challenges for a NAT­friendly PSS

● Assuming distributed relay and rendezvous services, how do nodes discover which public nodes act as partners for the private nodes?

● Is hole­punching or relaying preferable for communicating with private nodes?

How much data will be sent over the connection and what are the latency requirements?

● How fairly should the gossiping load be balanced over public versus private nodes?

Gozar: NAT­friendly Peer Sampling with One­Hop Distributed NAT Traversal – Amir H. PayberahJune 6, 2011 24

Gozar – NAT friendly Peer Sampling Service

Gozar: NAT­friendly Peer Sampling with One­Hop Distributed NAT Traversal – Amir H. Payberah 25June 6, 2011

Design Space

● Peer Selection Rand

Tail

● View Propagation Push

Push­Pull

● View Selection Blind

Healer

Swapper

Gozar: NAT­friendly Peer Sampling with One­Hop Distributed NAT Traversal – Amir H. Payberah 26June 6, 2011

Design Space

● Peer Selection Rand

Tail

● View Propagation Push

Push­Pull

● View Selection Blind

Healer

Swapper

Gozar

  Gozar: NAT­friendly Peer Sampling with One­Hop Distributed NAT Traversal – Amir H. Payberah 27June 6, 2011

NAT Friendliness in Gozar

● In Gozar, each private node connects to one or more public nodes, called partners that act as a relay or rendezvous server on behalf of the private node.

● A node's descriptor consists of both its own address, its NAT type, and its partners' addresses at the time of descriptor creation.

● When a node wants to gossip with a private node, it uses the partner addresses in its descriptor to communicate with the private node.

Gozar: NAT­friendly Peer Sampling with One­Hop Distributed NAT Traversal – Amir H. Payberah 28June 6, 2011

Partnering (1/10)

Bootstrap servern1n1

n2

n3

n4

n5

...

...

...

...

Gozar: NAT­friendly Peer Sampling with One­Hop Distributed NAT Traversal – Amir H. Payberah 29June 6, 2011

Partnering (2/10)

Bootstrap servern1n1

n2

n3

n4

n5

...

...

...

...

Gozar: NAT­friendly Peer Sampling with One­Hop Distributed NAT Traversal – Amir H. Payberah 30June 6, 2011

Partnering (3/10)

Bootstrap servern1n1

n2

n3

n4

n5n1, public, nulln4, public, null...

...

...

...

...

Gozar: NAT­friendly Peer Sampling with One­Hop Distributed NAT Traversal – Amir H. Payberah 31June 6, 2011

Partnering (4/10)

Bootstrap servern1n1

n2

n3

n4

n5n1, public, nulln4, public, null...

request

request

...

...

...

...

Gozar: NAT­friendly Peer Sampling with One­Hop Distributed NAT Traversal – Amir H. Payberah 32June 6, 2011

Partnering (5/10)

Bootstrap servern1n1

n2

n3

n4

n5n1, public, nulln4, public, null...

ACK

NACK

...

...

...

...

Gozar: NAT­friendly Peer Sampling with One­Hop Distributed NAT Traversal – Amir H. Payberah 33June 6, 2011

Partnering (6/10)

Bootstrap servern1n1

n2

n3

n4

n5n1, public, nulln4, public, null...

...

...

...

...

Gozar: NAT­friendly Peer Sampling with One­Hop Distributed NAT Traversal – Amir H. Payberah 34June 6, 2011

Partnering (7/10)

Bootstrap servern1n1

n2

n3

n4

n5n1, public, nulln4, public, null...

Shuffle exchange

n2, private, n1...

...

...

...

Gozar: NAT­friendly Peer Sampling with One­Hop Distributed NAT Traversal – Amir H. Payberah 35June 6, 2011

Partnering (8/10)

Bootstrap servern1n1

n2

n3

n4

n5n1, public, nulln4, public, null...

Shuffle exchange

n2, private, n1...

n2, private, n1...

...

...

Gozar: NAT­friendly Peer Sampling with One­Hop Distributed NAT Traversal – Amir H. Payberah 36June 6, 2011

Partnering (9/10)

Bootstrap servern1n1

n2

n3

n4

n5n1, public, nulln4, public, null...

Shuffle request

n2, private, n1...

n2, private, n1...

...

...

Gozar: NAT­friendly Peer Sampling with One­Hop Distributed NAT Traversal – Amir H. Payberah 37June 6, 2011

Partnering (10/10)

Bootstrap servern1n1

n2

n3

n4

n5n1, public, nulln4, public, null...

Shuffle response

n2, private, n1...

n2, private, n1...

...

...

  Gozar: NAT­friendly Peer Sampling with One­Hop Distributed NAT Traversal – Amir H. Payberah 38June 6, 2011

Relaying or Hole Punching?

● Relaying?

Lower latency message exchange.

• Enables lower gossip cycle periods. 

• Necessary in dynamic networks

● Hole punching?

Decreases load on public nodes.

• But not if shuffle messages are small.

● Applications that use the PSS can use partners to hole­punch or relay messages to private nodes.

Gozar: NAT­friendly Peer Sampling with One­Hop Distributed NAT Traversal – Amir H. PayberahJune 6, 2011 39

Experiments

  Gozar: NAT­friendly Peer Sampling with One­Hop Distributed NAT Traversal – Amir H. Payberah 40June 6, 2011

Experiment Setup

● Using the Kompics as a simulator platform.

● King dataset is used to model the latencies between nodes.

● 1000 nodes, 80% of nodes are private and 20% are public.

● Compare with Nylon and ARRG.

● Cyclon is used as a baseline.

  Gozar: NAT­friendly Peer Sampling with One­Hop Distributed NAT Traversal – Amir H. Payberah 41June 6, 2011

Metrics

● Randomness properties:

Local randomness

In­degree distribution

Clustering coefficient

Avg. path length

● Protocol overhead.

● Fairness and connectivity in catastrophic failure.

  Gozar: NAT­friendly Peer Sampling with One­Hop Distributed NAT Traversal – Amir H. Payberah 42June 6, 2011

Randomness

  Gozar: NAT­friendly Peer Sampling with One­Hop Distributed NAT Traversal – Amir H. Payberah 43June 6, 2011

Protocol Overhead

  Gozar: NAT­friendly Peer Sampling with One­Hop Distributed NAT Traversal – Amir H. Payberah 44June 6, 2011

Fairness and Connectivity in Failure

Gozar: NAT­friendly Peer Sampling with One­Hop Distributed NAT Traversal – Amir H. PayberahJune 6, 2011 45

Conclusions

  Gozar: NAT­friendly Peer Sampling with One­Hop Distributed NAT Traversal – Amir H. Payberah 46June 6, 2011

Conclusions

● Gozar is a NAT­friendly gossip­based peer sampling service that also provides a distributed NAT traversal service to clients of the PSS.

● Public nodes are leveraged to provide both the relaying and hole punching services.

● Relaying is only used for gossiping to private nodes

lower connection latency

• Enabling a faster gossiping cycle

The messages relayed are small

Gozar: NAT­friendly Peer Sampling with One­Hop Distributed NAT Traversal – Amir H. PayberahJune 6, 2011 47