14º Seminário RNP de Capacitação e Inovação O Serviço Experimental MonIPÊ Matrizes de Medição e avaliação dos resultados de medições ativas Murilo Vetter

14º Seminário RNP de Capacitação e Inovação

O Serviço Experimental MonIPÊ

Matrizes de Medição e avaliação dos resultados de medições ativas

Murilo VetterEquipe MonIPÊ

[email protected]

[email protected]

http://wiki.nuperc.unifacs.br/portalmonipe/


Agenda

• Matrizes de Medição

– Métricas selecionadas

– Testes Regulares

• Ferramentas

• Parâmetros de

medições

• Matriz de medições

– Testes sob Demanda

• Na última milha

• Avaliação de resultados

– Gráficos CACTISonar

– Resultados

– Análises de eventos

– Conclusões


Matrizes de Medição


• Atraso em um sentido– Detecção de sintomas de congestionamento– Medição de alta precisão,– Validar aplicação na rede (ex: VoIP, Vídeo)

• Variação do atraso em um sentido e perdas em um sentido– Predição de desempenho de aplicações

sensíveis a variação do atraso (VoIP)

4

Métricas


• Largura de banda alcançável (TCP/UDP)– Certificação do enlace contratado, – Dimensionamento de aplicações, – Simulação e aplicação rodando na rede

• Métricas Derivadas MOS– Métrica subjetiva para avaliar capacidade da

rede para suportar VoIP– Estimativa do valor através de parâmetros da

rede (atraso, variação do atraso e perdas)

5

Métricas II


• Testes Regulares• Realizados periodicamente

• Configuração fixa

• Utiliza a malha de medição e parâmetros “fixos”

• Utilizado para simulação do comportamento de aplicações

• Análise de tendências da rede

• Testes sob Demanda• Usuários autorizados

– Utilizado para certificação de enlaces entre PoPs e instituições

– Obtenção de resultados em tempo real

• Usuários em geral

– Utilizado para medição da última milha

6

Classificação dos Testes


• Ambiente de medições – CACTISonar, perfSONAR CL-MP e perfSONAR MA

• Ferramentas e Métricas– OWAMP

• Medição do atraso em um sentido• Perdas em um sentido• Cálculo da variação do atraso• Cálculo do MOS• Outras métricas derivadas

– BWCTL• Largura de banda alcançável em TCP• Largura de banda alcançável em UDP• Outras métricas derivadas

7

Testes Regulares

14º Seminário RNP de Capacitação e Inovação 8

Testes Regulares – Malha de medição


• Parâmetros de medição – OWAMP (Full Mesh)

– O propósito da malha de medição (full mesh) é ter uma visão geral do estado da rede

identificando individualmente o estado da comunicação entre todos os PoPs

– Periodicidade

• De 5 em 5 minutos

– Pacotes de teste: 10 pacotes por fluxo de teste

– Tamanho do pacote: 42 Bytes

• 20 Bytes: IP

• 8 Bytes: UDP

• 14 Bytes: Payload

– Intervalo entre pacotes de teste: 10 pacotes por segundo

– Largura de banda para medição: ~3,36Kbps por fluxo

– Impacto na rede: Desprezível

9

Testes Regulares - OWAMP


Malha de medição rede IPÊ – OWAMP (Full Mesh)

• Medição entre os PoPs (Full Mesh) • Instituições medem com o PoP diretamente conectado • Um ciclo de medição a cada 5 minutos• 289 medições por ciclo• Agendamento: CACTISonar MA Central - Escalamento: CL-MP

Testes Regulares - OWAMP

NPctes/fluxo 10Tam Pctes 42Bytes/fluxo 420Bits / fluxo 3360Kbbps 3,36Fluxos 289

No Pcotes por fluxo14+20+8NPctes * Tam-PctesBytes/fluxo * 8Bits/fluxo / 1000

No Fluxos de medição


• O objetivo desta medição periódica é obter indicadores de desempenho da rede na presença de tráfego de voz utilizando o codec g.711

• Protocolo: UDP• Periodicidade:

– De 60 em 60 minutos

• Duração do teste: 3 minutos• PPS: 50• Tamanho do pacote: 200 Bytes

– 20 Bytes – cabeçalho IP– 8 Bytes – UDP– 12 Bytes – RTP– 160 Bytes - Payload– Consumo de banda: 80Kbps por fluxo– Impacto na rede: Baixo

11

Simulação de fluxo de voz – g.711

Testes Regulares – OWAMP (2)


Malha de medição rede IPÊ – Simulação Fluxo g.711

• Fluxos com origem e destino em Brasília• Um ciclo de medição de 3 minutos a cada 60 minutos• 34 medições por ciclo• Agendamento: CACTISonar MA Central - Escalamento: CL-MP Armazenamento: MA-SQL

Simulção de chamada com G.711

Destino / 1Origem AM

1AM


Destino / 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 Kbps PPS Origem AC AM AP BA CE DF ES MG MT PA PE PR RJ RN RR RS SC SP

1 AC 80 80 502 AM 80 80 503 AP 80 80 504 BA 80 80 505 CE 80 80 506 DF 80 80 80 80 80 - 80 80 80 80 80 80 80 80 80 80 80 80 1360 8507 ES 80 80 508 MG 80 80 509 MT 80 80 50

10 PA 80 80 5011 PE 80 80 5012 PR 80 80 5013 RJ 80 80 5014 RN 80 80 5015 RR 80 80 5016 RS 80 80 5017 SC 80 80 5018 SP 80 80 50 Kbps 80 80 80 80 80 1360 80 80 80 80 80 80 80 80 80 80 80 80 2.640 - PPS 50 50 50 50 50 850 50 50 50 50 50 50 50 50 50 50 50 50 - 1700

Kbbps 80Duração 3minFluxos 34


• O objetivo desta medição periódica é obter indicadores de desempenho da rede na presença de tráfego de voz utilizando o codec g.729.

• Protocolo: UDP• Periodicidade:

– De 30 em 30 minutos

• Duração do teste: 3 minutos• PPS: 50• Tamanho do pacote: 60 Bytes

– 20 Bytes – cabeçalho IP– 8 Bytes – UDP– 12 Bytes – RTP– 28 Bytes - Payload

• Consumo de banda: 24 Kbps• Impacto na rede: Baixo

13


Simulação de fluxo de voz – g.729


• Fluxos com origem e destino em Brasília• Um ciclo de medição de 3 minutos a cada 30 minutos• 34 medições por ciclo• Agendamento: CACTISonar MA Central - Escalamento: CL-MP Armazenamento: MA-SQL

Destino /

Origem

Malha de medição rede IPÊ – Simulação Fluxo g.729



• Esta medição tem como objetivo identificar a largura de banda alcançável entre dois pontos finais.

• Periodicidade

• De 60 em 60 minutos

• Duração do teste – 10 segundos

• Tamanho da janela TCP– Otimizada pelo BDP

• Consumo de banda: Deve utilizar toda a banda disponível até o limite da capacidade da interface

• Impacto na rede: – Baixo

– Semelhante a um FTP

15

Parâmetros de medição BWCTL – Medição TCP

Testes Regulares – Bwctl


Malha de medição rede IPÊ – Largura de banda alcançável - BWCTL - TCP

• Um ciclo de medição a cada 60 minutos• 40 medições por ciclo• Agendamento: CACTISonar Escalamento: CL-MP Armazenamento: MA-SQL

Testes Regulares – Bwctl (2)

IntervaloFluxos de medição Baseado na topologia da rede IPÊ = Medição entre vizinhos nos dois sentidos

Calculado de acordo com BDPCalculado de acordo com BDP

Janela ServidorJanela Cliente

10 Segundos1 / hora40

Duração


• As medições sob demanda são utilizadas para avaliar instantaneamente o estado da rede.

• O objetivo deste tipo de medição é permitir aos usuários autorizados realizarem medições não contempladas pelas medições regulares.

• Este tipo de medição tem como objetivo descobrir a capacidade de um enlace ou uma conexão fim-a-fim em escoar um determinado tipo de tráfego.

• Avaliar com mais profundidade um problema de desempenho na rede.

17

Testes sob Demanda


• Ambiente– ICE, perfSONAR/CL-MP

• Ferramenta: – BWCTL - UDP

• Finalidade– Certificação de desempenho/capacidade de enlaces

• Tipo de usuário – Usuários autorizados

• Parâmetros de medição– Largura de banda: Configurável

– Tamanho do pacote: 1500 Bytes

– Largura de banda para medição: Configurável

– Impacto na rede: Pode ser Alto

18

Certificação de enlaces em tempo real (UDP)

Testes sob Demanda


• Ambiente – ICE, perfSONAR CL-MP

• Ferramenta – BWCTL - TCP

• Finalidade: – Certificação de desempenho/capacidade de enlaces

• Tipo de usuário – Usuários autorizados

• Parâmetros de medição– Duração do teste: Configurável pelo usuário– Tamanho da janela TCP: Otimizada pelo BDP– Largura de banda para medição: Deve utilizar toda a banda disponível

até o limite da capacidade das interfaces• Impacto na rede:

– Depende do tempo, porém usa TCP e se adapta– Semelhante ao FTP

19

Certificação de enlaces em tempo real (TCP)

Testes sob Demanda


• Ambiente– ICE, perfSONAR CL-MP

• Ferramenta– OWAMP

• Finalidade– Verificação de qualidade do enlace em tempo real

• Tipo de usuário– Usuários autorizados

• Métricas– Atraso unidirecional e perdas

• Parâmetros de medição - OWAMP– Pacotes de teste: 10 pacotes por teste ou Configurável– Tamanho do pacote: 42 Bytes (14 + 20 + 8) ou Configurável– Intervalo entre pacotes de teste: 10 pacotes por segundo ou Configurável– Largura de banda para medição: ~3,36Kbps ou Configurável– Impacto na rede: Desprezível por padrão (Pode ser alto)

20

Atraso e perdas em um sentido

Testes sob Demanda


• Ambiente de medição– Network Diagnostic Tool (NDT) - Servidores– Cliente WEB na estação do usuário final

• Métricas– Largura de banda alcançável em TCP

• Parâmetros de medição– Duração

• 10 segundos – cliente para servidor• 10 segundos – servidor para cliente

• Consumo de banda – Deve utilizar toda a banda disponível até o limite da capacidade da

interface de menor capacidade• Impacto na rede:

– Baixo– Semelhante a um FTP

21

Desempenho da última milha

Testes sob Demanda


Avaliação de resultados


• Gráficos do CACTISonar são em formato RRD semelhante aos gráficos da infraestrutura do CACTI.

• Em cada gráfico, são correlacionados dados incomuns que representam tipos de informações pertinentes.

• Um arquivo em RRD armazena informações de um ou mais diferentes tipos de gráficos.

• Existem gráficos que são derivados de métricas previamente obtidas, realizando a correlação entre elas (ex. MOS)

• O CACTISonar mapeia cada ferramenta de linha de comando do CL-MP para um arquivo RRD diferente, coletando as métricas pertinentes a cada ferramenta.

Representação dos gráficos

Gráficos CACTISonar


• Ferramenta: ping– Atraso Bidirecional– Variação do Atraso Bidirecional– Pacotes– Percentis– MOS

• Ferramenta: owamp *– Atraso Unidirecional– Variação do Atraso Unidirecional– Pacotes– Percentis– Sincronização de Relógio– Erro de Temporização– Hops– MOS

Tipos de gráficos

Gráficos CACTISonar II

* Gráficos utilizados até o momento pelo Monipê


• Ferramenta: bwctl (tcp) *– Vazão– Pacotes– Banda Transmitida– Janela

• Ferramenta: bwctl (udp)– Vazão– Perda– Buffer– Datagramas– Jitter– Banda Transmitida– Acumulado

Tipos de gráficos

Gráficos CACTISonar III

* Gráficos utilizados até o momento pelo Monipê


Atraso Unidirecional

• Este gráfico mostra o atraso unidirecional entre dois Pontos• Medição em milisegundos (ms)• Valores: Mínimo, Médio, Mediana, Máximo


Variação do atraso

• Basicamente é a diferença do tempo de chegada entre pacotes• Não é sensível a precisão de relógio• Medido em MS | (Gráfico geralmente mostra em m (ms), microsegundos)• Valores no gráfico

– Variação do atraso– Desvio padrão


Atraso - Percentis

• Um percentil é o valor de uma variável abaixo do qual uma determinada porcentagem de observações se encontra. Então o 25o percentil é o valor (ou escore), abaixo dos quais 25 por cento das observações podem ser encontrados

– Considerando a média do atraso- p25 – 25% Dos valores medidos para atraso e tem valor inferior a 2,20 MS- P50 – 50% Dos valores medidos para o atraso tem valor inferior a 2,22 MS


Pacotes

• Apresenta percentual de – OWD Loss: Pacotes perdidos– OWD Dup: Pacotes duplicados– OWD Reord: Pacotes fora de ordem


MOS

• Mean Opinion Score – Nível / Escala

5 excelente4 bom3 Médio2 Ruim1 péssimo


HOP

• Número de roteadores no caminho fim-a-fim– Permite verificar mudanças de topologia– Caminhos assimétricos


Clock Sync

• Mostra se o testes OWAMP foi realizado com o host sincronizado através do NTP


Time error

• Apresenta o erro em segundos dos dois hosts finais envolvidos na medição– SC: ST1 (GPS)– PR: ST2 (Fonte Interna via NTP)


BWCTL - Bandwidth

• Estimativa da largura alcançável• Medida em bps / Mbps• O gráfico apresenta somente um sentido da medição


BWCTL - Transmitted

• Estimativa da banda transmitida• Medida em bytes / Mbytes• O gráfico apresenta somente um sentido da medição


BWCTL - Packet

• MTU - Unidade Máxima de Transmissão– MTU descreve o tamanho máximo de um pacote IP que pode ser

transferido sobre um link sem fragmentação 1500 bytes (Ethernet, 802.11 WLAN) 9000 ou mais Bytes (Jumbo Frame, se ativo)

• MSS - Maximum Segment Size Genericamente: MTU – ( IP + TCP Headers) = 1500 - (20 + 20) = 1460


BWCTL - Window

Tamanho da Janela TCP Medido em Bytes

Relação com o BDP


O que é possível ser visualizado?

• Alteração de topologia através da queda de

enlaces– da análise do número de hops de um enlace

• Qualidade da voz nos enlaces– Através do MOS

• Atraso, perdas, capacidade do menor enlace– Vazão


Quais problemas afetam as medições?

• Relógios não sincronizados ou com baixa exatidão no

sincronismo

• Enlaces congestionados

• Disponibilidade– Enlaces– Infra-estrutura de medições: MPs, MA, CactiSonar, etc..

• BDP

• Firewall entre os Pontos de Medição

• Ferramentas de medição mal configuradas


Vazão TCP

• A vazão em TCP está diretamente ligada a– Atraso– Perda de Pacotes– Tamanho de Buffer da Janela– Congestionamento

• Ajustes na janela através do BDP devem ser realizados para maximizar a vazão em TCP


MOS

• MOS está diretamente ligada a– Atraso– Perda de Pacotes– Variação do atraso


Categorias de Enlaces

• Categorias de Enlaces dos PoPs– Enlaces entre 1Gbps e 10Gbps

• RS, SC, PR, SP, RJ, BA, PE, CE, MG, DF– Enlaces entre 100Mbps e 155Mbps

• MT, PA, RN, ES– Enlaces de 6 a 20Mbps - Terrestre

• AM, AC– Enlaces de 4 e 6Mbps - Satélite

• RR, AP


Resultado das Medições

• Categorias de Enlaces dos PoPs

– Enlaces entre 1Gbps e 10Gbps• RS, SC, PR, SP, RJ, BA, PE, CE, MG, DF

• Enlaces não congestionados• Enlaces de alta capacidade de transmissão• OWD Estável (Atraso Unidirecional)• Baixa ou quase nenhuma perda de pacotes• MOS Muito bom• Vazão TCP Limitada pelo BDP• Bom sincronismo através da rede ( Jitter <0,02ms)• Atraso baixo e mantém correlação com a distância entre os PoPs• Variação do atraso dentro do esperado


Resultado das Medições II

• Categorias de Enlaces dos PoPs– Enlaces entre 100Mbps e 155Mbps

• Alguns Enlaces congestionados– PA pelo menos em um sentido– MT está OK

• OWD Não Estável• Relativa perdas de pacotes• MOS razoável (RNP → PA)• Baixa Vazão• Sincronismo NTP ruim (links

congestionados)


Resultado das Medições III

• Categorias de Enlaces dos PoPs– Enlaces de 6 a 20Mbps - Terrestre

• AM, AC• Enlaces congestionados

– Enlaces de baixa capacidade• OWD Variável• Alta perdas de pacotes no sentido do PoP para o

Núcleo da rede• MOS (não é possível analisar pelos gráficos)• Baixa vazão (~ 650kbps/150kbps horário Pico e não

congestionado)• Sincronismo NTP via rede ruim• Médio Atraso• Variação do atraso médio e constante


Resultado das Medições IV

• Categorias de Enlaces dos PoPs– Enlaces de 4 e 6Mbps - Satélite

• Enlaces congestionados• Elevada perdas de pacotes• MOS razoável ( RNP → PA)• Baixa Vazão• Sincronismo NTP ruim (links

congestionados)• Elevado tempo de propagação OWD >

250ms causado pelo enlace via satélite


PA → SC

Atraso Unidirecional X Variação de Atraso Unidirecional


SC → PA

Atraso Unidirecional X Variação de Atraso Unidirecional II


SC → PA

FonteSincronismo

SC – ST1 (GPS)PA – ST2

Atraso Unidirecional X Variação de Atraso Unidirecional II


SC → PA

Banda X Atraso Unidirecional X Variação de Atraso Unidirecional


Vazão TCP: PA → RJ

Porque baixavazão se existe banda nosentido PA -> RJ

???

Banda X Vazão


Vazão RS → SC (09/10/2008)

Hops

OWDMps – Links PoPsSC 1GbpsRS 100Mbps ** Instalação Provisória

Evento:enlace SC – RS Fora

Enlace Fora do Ar


VoIP MOS: PA (102M) – SC (2,5G)

RJ - PA

SC - PA

PA - SC

Qualidade de Voz através da análise do MOS


VoIP MOS: AM (20M) – SC (2,5G)

AM - SP

SC - AM

AM - SC

Qualidade de Voz através da análise do MOS II


VoIP MOS: AC (6M) – SC (2,5G)

AC - SC

SC - AC

Qualidade de Voz através da análise do MOS III



AC - SC

SC - AC




AC - SC

SC - AC



VoIP MOS: AC (6M) – SC (2,5G) II

AC - SC

SC - AC



Vazão TCP

• SC RS =2,5Gbps• SC PR = 2,5Gbps• Vazão muito

diferente


Panorama geral da rede






Conclusões

• Matrizes são dimensionadas para:

• Possibilitar uma visão geral da saúde da rede

• Emular o comportamento de aplicações

• Categorizações específicas dos enlaces

• Eventos podem ser visualizados pelas medições


Obrigado

Dúvidas/SugestõesMurilo Vetter

Equipe MonIPÊ[email protected]@npd.ufsc.br

http://wiki.nuperc.unifacs.br/portalmonipe/

Documents

14º Seminário RNP de Capacitação e Inovação O Serviço Experimental MonIPÊ Matrizes de Medição e avaliação dos resultados de medições ativas Murilo Vetter