Lundi 15 mars 2004AS1 SplitStream : diffusion de contenu à fort besoin en bande passante Anne-Marie Kermarrec (INRIA-Rennes, IRISA) En collaboration avec

Lundi 15 mars 2004 AS 1

SplitStream : diffusion de contenu à fort besoin en bande passante

Anne-Marie Kermarrec (INRIA-Rennes, IRISA)

En collaboration avec M. Castro, A. Rowstron (MSR Cambridge) P.Druschel, A. Nandi et A. Singh (Rice University)


SplitStream

Distribution de contenu à fort besoin en bande-passante Distribution de fichiers Mises à jour de logiciel Diffusion de contenu multimédia

Environnement coopératif Système pair-à-pair (P2P) Partage de ressources Auto organisation Pas d’élément de centralisation


Protocole de diffusion applicatif


Protocole de diffusion applicatif Protocoles à base d’arbre

Déséquilibre de charge; la majorité des nœuds sont des feuilles Défaillance des nœuds internes de l’arbre

Protocole épidémique Redondance par défaut Engendre un lourd trafic sur le réseau

Inconvénients exacerbés par la nature des contenus diffusés Équité Charge réseau


L’approche SplitStream

Contenu divisé en flots (stripes) et distribué sur de multiples arbres de diffusion indépendants

Équité Nœuds internes dans un arbre sont des feuilles dans les autres

Disponibilité Défaillance d’un nœud entraîne seulement une perte de qualité

(parents indépendants)

Flexibilité S’accommode de bande passante diverses


Construction d’un arbre de diffusion

B

C

E

F

D

A

G


Construction d’un arbre de diffusion

B

C

E

F

D

A

G


Arbre de diffusion unique : équité

B

C

E

F

D

A

G

IN: n kb/sec

OUT: 2n kb/sec


La forêt SplitStream

B

C

E

F

D

A

G



B

C

E

F

D

A

G



B

C

EF

DA

G D

E G

B A F C

A

B C

F G D E

N kb/sec

N/2 kb/sec N/2 kb/sec



B

C

EF

DA

G D

E G

B A F C

A

B C

F G D E

N kb/sec

N/2 kb/sec N/2 kb/sec


L’approche SplitStream

Difficulté majeure : construire et assurer la maintenance des multipels arbres de diffusion de manière décentralisée, fiable et extensible (passage à l’échelle) afin que:

Chaque client reçoive le nombre désiré de flots de données Arbres indépendants Contrôle de l’allocation de bande passante Délais et charge imposées au réseau raisonnables

Utilisation de Scribe/Pastry Pastry: infrastructure de routage structurée, efficace, fiable Scribe : protocole de diffusion à base d’arbre, décentralisé et

efficace


Pastry : rappel

[Rowstron-Druschel 2001] DHT Functionality 128 bit circular id space nodeIds (uniform random) objIds (uniform random) Invariant: node with

numerically closest nodeId is object’s root

objId

nodeIds

O 2128-1


Localité dans Pastry

d46a1c

Route(d46a1c)

d462ba

d4213f

d13da3

65a1fc

d467c4d471f1

Name space

d467c4

65a1fcd13da3

d4213f

d462ba

Leaf set

Proximity space IP*1.6


Scribe : rappel

Create : route vers groupId Join : route vers groupId Arbre : union des routes

Pastry des membres du groupe à la racine

Diffusion Charge raisonnable

imposée sur le réseau Délai raisonnable

groupId

join( groupId)

Multicast (groupId)

Racine

join( groupId)


Scribe

d13da3

65a1fc

d467c4: rootd471f1

Name space

26b20d

Proximity space

26b20d

65a1fcd13da3

d467c4: root


SplitStream

Construction d’un arbre/ groupe Scribe pour chaque flot de données

Chaque identificateur de flot commence par un digit différent (indépendance jusqu’à 16 flots)

0x 1x fx

…..


SplitStream : gestion de la forêtContraintes Degré sortant limité augmente potentiellement la profondeur des

arbre Besoin d’équilibrer la charge entre les arbre et à l’intérieur des

arbres Conserver l’indépendance face aux défaillances.

Solution Nœuds en sous charge joignent un arbre de capacité disponible Nœuds en sur charge abandonnent des enfants Orphelins anycast à l’arbre de capacité disponible pour trouver de

nouveaux parents


Expériences

Simulations Topologies GT, Mercator, MS Corp. 40000 noeuds

Pastry (b=4, leafset = 16) SplitStream : 16 flots Configurations degré entrant x degré sortant

Impact de la capacité disponible 16x16, 16x18, 16x32 et 16xNB Impact de capacités/besoins variés (Gnutella)

Expérimentations Construction de la forêt Performance de la diffusion


Construction de la forêt : charge des noeuds

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

1 10 100 1000 10000

Node Stress

Cum

ulat

ive

prop

ortio

n of

nod

es

16 x NB

16 x 32

16 x 18

16 x 16


Construction de la forêt: charge des noeuds

Configuration 16x16 16x18 16x32 16xNB

Max 5893 4285 2876 5058

Mean 74 65 43 21

Med 52 48 30 17


Diffusion : charge réseau

Configuration Centralisé

(0.43)

Scribe

(0.47)

IP

(0.43)

16x16

(0.98)

16x18 16x32 16xNB

Max 639984 3990 16 1411 1124 886 1616

Mean 128.9 39.6 16 20 19 19 20

Med 16 16 16 16 16 16 16


Pénalité de délai lors de la diffusion

0

2

4

6

8

10

12

14

16

0 0,5 1 1,5 2 2,5

Delay penalty

Cum

ulat

ive

strip

es

RAD (16 x NB)

RAD (16 x 32)

RAD (16 x 18)

RAD (16 x 16)


Diversité des chemins

Configuration 16x16 16x32 16xNB

Max 6.8 6.6 1

Mean 2.1 1.7 1

Med 2 2 1

Nombre de flots perdus (au plus) a chaque noeud en cas de défaillance d’un noeud


Nombre de flots reçus (Trace Gnutella, 10000 nœuds)


Défaillance catastrophique (25% de nœuds défaillants) : nombre de flots reçus (10, 000)


Défaillance catastrophique (25% de nœuds défaillants) : nombre de messages (10000 noeuds)


Conclusion

SplitStream permet d’effectuer de la distribution de contenus à fort besoin en bande passante de manière équitable et robuste Forêt d’arbres indépendants au lieu d’un arbre unique Gestion extensible et décentralisée reposant sur Pastry et Scribe Bonnes propriétés de fiabilités en environnement dynamique

Documents

Lundi 15 mars 2004AS1 SplitStream : diffusion de contenu à fort besoin en bande passante Anne-Marie Kermarrec (INRIA-Rennes, IRISA) En collaboration avec