Sieć CAN (Content Aware Network)

Andrzej Bęben, Politechnika Warszawska

1

Plan prezentacji

WprowadzenieSieć CAN

ArchitekturaMechanizmy i algorytmy

Prototyp sieci CANSieć eksperymentalna PI CANPodsumowanie

2

Wprowadzenie (1)

Sieć CAN (Content Aware Network)zaprojektowana do efektywnego dostarczania treści multimedialnych (sieć post-IP)zaimplementowana w Systemie IIP jako jedna z trzech Równoległych Sieci Internetopracowana przez 6 zespołów

3

Politechnika Warszawska

Poznańskie Centrum Superkomputerowo-Sieciowe

PolitechnikaWrocławska

Instytut Łączności Politechnika Śląska

Instytut Informatyki Teoretycznej i Stosowanej

Wprowadzenie (2)

Motywacja dla sieci CAN:Przekaz treści multimedialnych, tj. filmy wideo, programy telewizyjne i radiowe, stanowi obecnie około 70% ruchu w sieci Internet

Sieć Internet nie była projektowana do przekazu treści z czego wnikają główne ograniczenia:

brak jednolitego systemu identyfikatorów treści prowadzący do ograniczenia dostępności treści

dostęp do treści wymaga znajomości jej fizycznej lokalizacji, tzn. adresu serwera przechowującego treść (komunikacja w sieci Intertnet wymaga znajomości adresów IP)

sieć jest „nieświadoma” przesyłanej treści – co prowadzi do wielokrotnego przekazu tej samej treści i braku możliwości wykorzystania mechanizmów wspomagających

połączenia multicast

przechowywanie replik popularnej treści w pamięci podręcznej węzłów

wybór serwera oraz ścieżek pomiędzy serwerem treści a użytkownikiem.

4

Sieć CAN (1)

Cel: Zaprojektowanie sieci PI CAN, która jest zorientowana na dostarczanie treści od wydawcy do użytkownikaMetoda:

Efektywne dostarczenie treści jest możliwe dzięki wiedzy o:lokalizacji serwerów na których są dostępne repliki treści żądanej przez użytkownikawymaganiach dotyczących przekazu treści, tj. usługa sieciowa, wymagany poziom jakości obsługi, przepływność, dopuszczalny poziom strat pakietówaktualnym obciążeniu serwerówwarunkach ruchowych panujących w sieci

Co jest potrzebne?Nowa architektura sieci, w której informacja o treści, jej lokalizacji jest częścią sieci -> Content Aware Network vel. Information Centric NetworkNowe mechanizmy wspomagające przekaz treści

5

Sieć PI CAN (2)

6

Podstawowe procesy w sieci PI CAN:

Wyszukanie treści i przygotowanie sieciPobranie treści

Wydawca

Udostępnia treść na serwerach

Rejestruje treść w sieci PI CAN

Publikowanie treści

Użytkownik

Żądanie treści

1. Wyszukiwanie dostępnych replik2. Wybór najlepszego serwera i ścieżki sieci

Przygotowanie sieci

Adres serwera

Pobranie treści

Przekaz pakietów

Sieć PI CAN (3)

Architektura sieci PI CAN

7Płaszczyzna przekazu danych

Płaszczyzna sterowania

Funkcje obsługi żądań użytkowników

Funkcje przekazu

Pobranie informacji o lokalizacji

i obciążeniu serwerów

Ob

słu

ga

żą

da

nia

uży

tko

wn

ika

Przekaz treści przez ścieżki przekazu

Konfigurowanie ścieżek przekazu

Płaszczyzna zarządzania

Funkcje zarządzania ścieżkami przekazu

wielo-ścieżkowy, wielo-kryterialny

ruting

Funkcje lokalizacji treści Funkcje zarządzania treścią

Tworzenie identyfikatora

treści

Rejestrowanie treści

Umieszczanie replik treści

Przechowywanie i wyszukiwanie „Rekordu treści”

Proces decyzyjny

Funkcje monitorowania i pomiarów

Pomiary warunków ruchowych w sieci

Pomiary obciążenia serwerów

Funkcje zarządzania siecią

Strategie zarządzania

Przekaz wiadomości sterujących i zarządzania

Konfigurowanie sieci

Zarządzanie awariami

Pobranie informacji o ścieżkach i ich

obciążeniu

Wymiarowaniesieci

Użytkownik

Żądanie pobrania treści (ID)

Buforowanie treści w pamięci podręcznej

Mechanizmy i algorytmy sieci PI CAN

Identyfikator treściWyszukiwanie i lokalizacja treściZbierania wiedzy o stanie sieci i serwerach:

Routing wielościeżkowyStan obciążenia serwerów

Proces decyzyjnyPrzekaz treści – węzły CAFE

8

Identyfikator treści (CID)

9

CID (Content ID) pełni rolę adresu, za pomocą którego użytkownik oraz system identyfikuje dostępne obiekty

Wymagania:unikalny w całej sieciniezależny do lokalizacji treściwspierający łatwe wyszukiwanie treści brak znaczenia semantycznego

Rozwiązanie przyjęte w PI CAN128-bitowy identyfikator bez wewnętrznej struktury, generowany za pomocą funkcji MD5 (na podstawie zawartości) lub funkcji GUID

Wyszukiwanie i lokalizacja treści

10

Wyszukiwanie treści jest realizowane za pomocą algorytmu COLOCAN (COntent LOcalisation for CAN), który tworzy rozproszoną bazę danych przechowywaną w węzłach sieci CAN

Algorytm COLOCAN bazuje na idei algorytmów DHT, w którym proces wyszukiwania węzła przechowującego szukany rekord wykorzystuje strukturę drzewa binarnego

Złożoność algorytmu: Maksymalnie O(log N) przekazanych zapytań w sieci N węzłów sterujących sieci PI CAN

CM 0000

CM 0001

CM 0011

CM 1---

CM 0010

CM 01--

0 1

0

0

0

1

1 1 0

1

Proces decyzyjny

11

Proces decyzyjny jest odpowiedzialny za wybór serwera oraz ścieżki dostarczania treści od serwera do użytkownika biorąc pod uwagę wiedzę o treści, stanie serwerów i warunkach panujących w sieci:

Algorytm decyzyjny w sieci PI CAN wykorzystuje ranking dostępnych rozwiązań, tj. par <serwer, ścieżka> oparty na analizie wielokryterialnej używającej poziomów odniesienia

Proces decyzyjny jest inicjowany dla każdego żądania i zwraca „najlepszą” parę <serwer, ścieżka> z dostępnych rozwiązań

Rozwiązanie to umożliwia równoważenie obciążenia serwerów i sieci

Zbierania wiedzy o stanie sieci i serwerach:

Wiedza o stanie sieci i serwerów jest uzyskiwana z:

Protokołu rutingu wielościeżkowegoMiędzydomenowy, wielokryterialny, wielościeżkowy

Systemu zarządzania domeną

Systemu monitorowania stanu serwerów

12

Przekaz treści – węzły CAF

Węzły CAF przesyłają pakiety na podstawie listy kluczy przekazu zawartej w nagłówku pakietu. Opracowana metoda przekazu:

wykorzystuje ideę rutingu źródłowego na poziomie domenumożliwia wykorzystanie wielu ścieżek pozwala wybrać drogę przekazu dla każdego żądania treścipozwala zminimalizować tablice routingu (klucze są lokalne)pozwala zastosować zaawansowane przetwarzanie pakietów w węzłach

13

Płaszczyzna przekazu danych

Terminal użytkownika

Udostępnionemateriały

Serwer treści

Udostępnione materiały

Serwer treści

bCAF

CAF

bCAF

bCAF/CAF

treść

treść

1

2

3

treść32

treść32

treść3

treść3

Ruting IPv6

Ścieżka przekazu treści

Identyfikator reguł przekazu treści1

CAF

CAFCAF

CAF

Węzeł sieci PI CAN (CAF)

Prototyp sieci CAN (1)

Węzły sieci CAN zostały zaimplementowane jako węzły wirtualne systemu IIP na trzech platformach:

XEN rozwiązanie programowe

EzAppliance Przekaz danych realizowany sprzętowoSterowanie realizowane programowo

NetFPGA Przekaz danych realizowany sprzętowoSterowanie realizowane programowo

14

Prototyp sieci CAN (2)

Sieć CAN została zintegrowana z 3 aplikacjami:HomeNet Media - domowe centrum multimediów

integracja lokalnych i zewnętrznych źródeł treścipersonalizowane profile użytkowników

Rozproszone Muzeum Wirtualneinteraktywne obiekty 3Dpobieranie progresywne

Cyfrowa Biblioteka Pacjentajednolity dostęp i wyszukiwanie rozproszonych danych medycznychudostępnianie danych medycznych zamkniętym grupom użytkowników, np. lekarzom, rodzinie

15

Sieć eksperymentalna CAN

Sieć CAN:jest zbudowana z 9 węzłów CAN zlokalizowanych w 6 ośrodkach PW, IŁ, PCSS, IITiS, PWr oraz AGH połączonych przez PL-LABkażdy węzeł pełni rolę węzła dostępowego, szkieletowego lub serwera treściUmożliwia przeprowadzenie testów funkcjonalnych oraz wydajnościowych związanych z publikowaniem i pobieraniem treści

16

100M

100M

100M

100M

100M

10M1G 1G

40M

aaas-hnm css-hnm

cs-hnm

aaas-phn

css-phn

cs-phn

1G 1G

1G

aaas-dvm

css-dvmcs-dvm

1G

Node 9 (XEN AGH)

CAN

Wirelessmesh (PP)

5M

Node 2 (EZ IL)

CAN

distributed CR

Node 6 (IITiS)

CAN

GPON

1G

Node 7 (EZ PWr)

CAN

1G

Node 8 (XEN PWr)

CAN

cs-hnmcs-dvmcs-phn

cs-hnmcs-dvmcs-phn

Node 4 (XEN IL)

CAN

e3e3

e2e1

e4

e4

e4e2

e2 e2

e2

e2

e3

e4

e2

e3

e2

e3

e2

e3

e3e5

e1

e6

e1

e1

e1 e1

e1

VLAN 150 (80M)Node 5 (PCSS) CAN

e1

1G

1GCAN

Node 10NetFPGA

Node 3(XEN PW)

CAN

Node 1 (EZ PW)

CAN

e5

e6

e2

e3

e1

Podsumowanie

17

Sieć CAN zakłada nową architekturę (rozwiązanie post-IP) specjalizowaną dla przekazu treści:

Ujednolicony dostęp do treściidentyfikatory niezależne od lokalizacjiefektywne algorytmy wyszukiwania informacji o lokalizacji treści

Mechanizmy i algorytmy sterowania siecią uwzględniające warunki panujące w sieci oraz obciążenie serwerów Nowa metoda przekazu treści umożliwiająca wybór ścieżek dostarczania treści dla każdego żądania

Zaimplementowany prototyp, integracja z aplikacjami oraz badania symulacyjne oraz eksperymenty przeprowadzone w sieci testowej potwierdziły efektywność sieci PI CAN w porównaniu do obecnie stosowanych modeli dystrybucji treści, np. CDN

Rozwiązanie było prezentowane na wielu wystawach (CeBIT2013, ITC 2012, KST 2012, FIA 2011) oraz publikacjach konferencyjnych