1 Avaliação de Desempenho de Sistemas Computacionais Aula 4/5 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de

1

Avaliação de Desempenho de Sistemas Computacionais

Aula 4/5

Marcos José Santana

Regina Helena Carlucci Santana

Universidade de São PauloInstituto de Ciências Matemáticas e de Computação

Departamento de Sistemas de Computação

2

Conteúdo

1. Planejamento de Experimentos

2.2. Análise de ResultadosAnálise de Resultados – Introdução– Medidas de Desempenho

Freqüentemente Utilizadas– Análise Estatística dos Resultados– Comparação de Resultados – Procedimento para análise de

resultados– Exemplos3. Técnicas para Avaliação de Desempenho

http://www.fotosdahora.com.br/gifs_path/3339/face_charles_chapplin

http://www.gifsdahora.com.br/gifs_path/4995/sorriso_09

3

Conteúdo


2.2. Análise de ResultadosAnálise de Resultados – IntroduçãoIntrodução– Medidas de Desempenho





4

Introdução

Massa de Dados

Dados agrupados Parâmetros Típicos

Coleta de Dados

Organização dos Dados

Caracterização dos Dados

2

X

H

Estatística Descritiva

5

Introdução

•Inferência Estatística– A partir de amostras -> conclusões

sobre a população• Erro amostral – elementos atípicos que

não representam a amostra -> diferença entre amostra e população

• Amostra viciada – tendência maior em selecionar algum tipo de elemento

6

Introdução•Inferência Estatística

– Erro amostral - cálculo aproximado

N – tamanho da população

E0 – Erro amostral tolerável

n – tamanho da amostra

7

Introdução•Inferência Estatística

– Erro amostral - cálculo aproximado

N – tamanho da população

E0 – Erro amostral tolerável

n – tamanho da amostra

E0

Pesquisas eleitorais

Esse comportamento explica a razão da amostra para eleição de prefeito de

uma grande cidade ser praticamente igual a de eleição para presidente

8

Análise de Resultados - Introdução

População

População

Amostragem

Amostra

Amostra

Dados Organizados

Dados Organizados

Conclusões sobre a

população

Conclusões sobre a

populaçãoInferência

Análise Descritiva

9

Análise de Resultados

Folha de São Paulo 09/12/2007:

Marta e Alckmin disputam liderança pela Prefeitura de São Paulo

Alckmin – 26% dos votos

Marta – 24% dos votos

10


• Cidade de São Paulo - 7.593.144 eleitores (População)

• O levantamento foi feito com 1.089 moradores de São Paulo. (Amostra = 1.089)

• A margem de erro é de três pontos percentuais para mais ou para menos.

• Intervalo de Confiança- 95%

11


• A margem de erro é de três pontos percentuais para mais ou para menos.

• Intervalo de Confiança- 95%

2624

1311

8

4

0

5

10

15

20

25

30

Alckmim Marta Kassab Maluf Erundina Paulinho

%votos

12

Análise de ResultadosProcedimento erradoerrado normalmente utilizado

para uma avaliação

1. Desenvolvimento de um procedimento para avaliação

2. Validação e verificação do sistema de avaliação

3. Obtenção dos resultados através de umauma execução da forma de avaliação escolhida

4. Conclusões sobre o sistema em estudo

Equivalente a se considerar uma amostra unitária

13

Análise de ResultadosPor que esse Procedimento está erradoerrado?

Sistema a ser Sistema a ser AvaliadoAvaliado

entradas

saídas

Resultados

Tem-se controle de todo o sistema?

Como são controladas as entradas do sistema?

Quais as condições iniciais do sistema?

O que mais o sistema está processando no momento da avaliação?

Como controlar as interrupções?

Diferentes características a serem consideradas, p.ex. onde estão localizadas as informações no disco?

AferiçãoAferição

http://images.google.com.br/imgres?imgurl=http://www.faap.br/faculdades/tecnologia/images/computador.gif&imgrefurl=http://www.faap.br/faculdades/tecnologia/tecnologia.htm&h=215&w=215&sz=16&tbnid=3xS2495GjDU4hM:&tbnh=101&tbnw=101&hl=pt-BR&start=21&prev=/images%3Fq%3Dcomputador%26start%3D20%26svnum%3D10%26hl%3Dpt-BR%26lr%3D%26sa%3DN

14

Análise de ResultadosPor que esse Procedimento está erradoerrado?

Tarefa programada pode ser ativada durante a execução?

Interrupção do clock.

Variável necessária está no cache? Na primeira vez que o processo executa pode não estar.

Quais as condições iniciais do sistema?

Que outros processos estão executando?

Tempo para Execução de Tempo para Execução de um processo em um um processo em um Sistema OperacionalSistema Operacional

15


Sistema a Sistema a serser

AvaliadoAvaliado

ModelModeloo

Execução Execução da da

simulaçãsimulaçãoo

entradas

saídas

Variáveis aleatórias

Resultados Estocásticos

Representadas por

Estimativa das

ModelageModelagemm

http://images.google.com.br/imgres?imgurl=http://www.leb.usp.br/Image15.jpg&imgrefurl=http://www.leb.usp.br/pneuro.html&h=572&w=540&sz=94&tbnid=Mv9zx6cGrstL9M:&tbnh=131&tbnw=123&hl=pt-BR&start=28&prev=/images%3Fq%3Dmodelo%2Bcomputacional%26start%3D20%26svnum%3D10%26hl%3Dpt-BR%26lr%3D%26sa%3DN

http://images.google.com.br/imgres?imgurl=http://www.faap.br/faculdades/tecnologia/images/computador.gif&imgrefurl=http://www.faap.br/faculdades/tecnologia/tecnologia.htm&h=215&w=215&sz=16&tbnid=3xS2495GjDU4hM:&tbnh=101&tbnw=101&hl=pt-BR&start=21&prev=/images%3Fq%3Dcomputador%26start%3D20%26svnum%3D10%26hl%3Dpt-BR%26lr%3D%26sa%3DN

http://images.google.com.br/imgres?imgurl=http://www.jotachost.com.br/images/computador.jpg&imgrefurl=http://www.jotachost.com.br/outroplano.php&h=218&w=217&sz=10&tbnid=gDFuPquNOGN-4M:&tbnh=102&tbnw=101&hl=pt-BR&start=2&prev=/images%3Fq%3Dcomputador%26svnum%3D10%26hl%3Dpt-BR%26lr%3D

16


Portanto, Portanto,

Em uma aferição, a medida obtida é uma dentre um conjunto de

possibilidades

Em uma Simulação Estocástica, tem-se uma variabilidade inerente ao

processo estocástico da simulação

17


Portanto... Portanto...

Deve-se utilizar os resultados que a estatística nos oferece para analisar

os resultados dos experimentos.

Estatística: ciência que investiga os processos de obtenção, organização e

análise de dados sobre uma população e os métodos de tirar conclusões e fazer

predições com base nesses dados.

Aurélio

18


População

População

Amostragem

Amostra

Amostra

Dados Organizados

Dados Organizados

Conclusões sobre a

população

Conclusões sobre a

populaçãoInferência

Análise Descritiva

Conjunto de Resultados

Possíveis (infinito)

Conjunto de Medições

Realizadas

Cálculo de médias, máximos,

mínimos,intervalo de confiança, erro...

Conclusões sobre o Sistema Real

19


Cuidado... Cuidado...

“Como mentir com Estatística”livro célebre de Huff, 1954.

Na verdade, nem sequer é preciso mentir, apenas mostrar a informação

conveniente e omitir as outras

Ricupero

20



... as informações utilizadas para opinar, escolher, comprar, absolver, vêm sendo criadas, não para expandir conhecimento, mas para promover um produto, uma causa, um político.

Crossen (1996)

21



Os números são lindos!!!!

Mas são também traiçoeiros....

Primeiro ponto a ser consideradoQue métricas estão sendo utilizadas?

O que representam os valores obtidos?

22

Conteúdo


2.2. Análise de ResultadosAnálise de Resultados – Introdução

– Medidas de Desempenho Medidas de Desempenho Freqüentemente UtilizadasFreqüentemente Utilizadas

– Análise Estatística dos Resultados– Comparação de Resultados – Procedimento para análise de




23

Medidas de Desempenho Freqüentemente Utilizadas

• Tempo de resposta– intervalo entre o pedido do usuário e a resposta

do sistema• pedido e resposta instantâneos• pedido e resposta realistas

– duas definições:1 - fim da requisição e início da resposta2 - fim da requisição e fim da resposta

– geralmente o tempo de resposta cai na medida que a carga de trabalho diminui

24


• tempo de resposta com pedido e resposta instantâneos

25


• tempo de resposta com pedido e resposta realistas

26


• Troughput– definido como uma taxa de pedidos que podem

ser servidos pelo sistema (pedidos por unidade de tempo)

– capacidade nominal– o troughput geralmente aumenta até certo

ponto, depois começa a cair– eficiência

27


• Troughput– eficiência (exemplo)

• gráfico de eficiência em vários processadores

28


• Utilização– fração de tempo em que o recurso está ocupado– sistema ocioso (idle time)

• deve haver balanceamento de carga para que nenhum recurso seja mais utilizado que outro

• Confiabilidade– tempo provável em que o sistema fica livre de

erros

29


• Disponibilidade– fração de tempo em que o sistema está

disponível

• Custo/Desempenho– melhor relação

30


• Speed Up = tempo serial/tempo paralelo

• Problemas com Speed Up• exemplo:

» dois algoritmos, A e B

ALGORITMO A B tempo em serial (s) 10 7 tempo em paralelo (s) 5 4

SPEEDUP 2 1.75

Deve-se evitar esta métrica?

31


• MHZ - problemas

• Métricas populares:• MIPS, GIPS, TIPS;

• MFLOPS, GFLOPS, TFLOPS;

• LIPS, KFLIPS, MFLIPS;

• PPS, BPS, bps;

• TPS;

• etc.

32


• Categorias das medidas de desempenho– Alto é melhor (High is Better - HB);– Baixo é melhor (Low is Better - LB);– Nominal é melhor (Nominal is Better - Nbi).

33


• Medidas de Posição– Média– Moda– Mediana

• Medidas de Dispersão– Desvio Padrão– Variância– Percentis– Box-Plot

34

Medidas de Posição• Média

– média aritmética dos valores– valores extremos “puxam” a média

• Moda– valor que ocorre mais vezes

• Mediana– divide o conjunto em duas partes iguais– num conjunto ordenado a mediana esta no

centro– Não é influenciada por valores extremos

35

1,382º

1,403º

1,351º

1,434º

1,455º

1,486º

1,487º

1,508º

1,529º

1,382º

1,403º

1,351º

1,434º

1,455º

1,486º

1,487º

1,508º

1,959º

md

X=1,44

X=1,49

Medidas de Posição

Média X Mediana

36


• Medidas de Dispersão– Variância

– Desvio Padrão

– Análise de percentis

– Box-Plot

37


• Percentis – dividem os dados em cem partes de tamanhos iguais

• Quartis: dividem em quatro grupos, delimitados pelos percentis 25, 50 e 75– 1º Quartil Q1 ou Q0.25 - valor a que

corresponde a percentagem cumulativa de 25%

– 3º Quartil Q3 ou Q0.75 - valor a que corresponde a percentagem cumulativa de 75%

38


• Box Plot– Mostra a mediana, primeiro e terceiro quartis de

uma distribuição (pontos 50%, 25% e 75% na distribuição acumulada)

– Noção de outlier: observação que se encontra a mais de um dado múltiplo (1.5 ou 3.0) do intervalo inter-quartílico, acima ou abaixo dos percentis 75% e 25%, respectivamente

39


•Outliers – valores extremos da população.

•Moderados (1ª espécie)(o)[Q3+1.5(Q3-Q1) ; Q3+3(Q3-Q1)] e[Q1-1.5(Q3-Q1) ; Q1-3(Q3-Q1)]

•Severos (2ª espécie)(*)[Q3+3(Q3-Q1) ; máximo] e [mínimo ; Q1-3(Q3-Q1)]

Q3 ou Q0.75

Q1 ou Q0.25

Mediana D

D – Distância entre Quartis

I

I – Intervalo das Amostras sem Outliers

*

o

o

o

o

*

40


• Valores extremos Outliers– Dados díspares, muito grandes ou muito pequenos, em

relação aos demais, – Influenciam muito as médias– Podem distorcer conclusões– É fundamental sua detecção e tratamento.

• Possíveis causas de valores espúrios:– Erro na fase de mensuração (tomada da medida)– Erro na transcrição ou anotação do registro– Mudanças (reais) não-controláveis nas condições

experimentais.– Característica da variável (ex.:instabilidade)

41


• Tratamento de Outliers– Muita controvérsia...– Não existe um critério ou metodologia

para rejeição de dados– Problema maior quando tem-se

pequena quantidade de dados ou uma distribuição normal não pode ser garantida.

“Nós estatísticos, não gostamos disso!” Marinho Gomes de Andrade Filho

42


• Analisando Observações Atípicas (Exemplos)– Exemplo 1 – amostra sendo obtida em um sistema

durante o mês de abril de 2a. a 6a. das 9 as 17;• 21/04 – 6a.feira – feriado - deve ser desprezado

– Exemplo 2- Requisições de um servidor Web

– Exemplo 3 –Sistema Distribuído ambiente de desenvolvimento de software – distribuição bimodal

– Exemplo 4 –Acessos a um servidor Web ao longo de um dia

43


• Podem-se desprezar dados atípicos?

Apenas o especialista na área pode responder.....

44

Conteúdo



Freqüentemente Utilizadas

– Análise Estatística dos ResultadosAnálise Estatística dos Resultados– Comparação de Resultados – Procedimento para análise de




45


Considera-se que alguma técnica para avaliação de desempenho e obtenção

dos resultados tenha sido utilizada

46


Em qualquer experimentação, trêsproblemas a serem considerados:

1. Condições iniciais da experimentação

2. Quando parar uma experimentação3. Resultado de uma execução

oferece um resultado dentre muitos outros possíveis

47

Análise de ResultadosPrimeiro problema: Quais as Primeiro problema: Quais as condições iniciais que se devem condições iniciais que se devem ter para iniciar uma avaliação?ter para iniciar uma avaliação?

Três condições possíveis:1. Início no estado vazio; 2. Início no estado de maior

probabilidade de ocorrência; 3. Início na média do estado de

equilíbrio

48

Análise de Resultados1.Início no estado vazio

• Simples

• Todos os servidores desocupados -> filas vazias

• Importante para a análise do transitório mas não do comportamento estacionário

• Ex.: Banco

•Comportamento normal x inicial

• Solução:

•Valores iniciais

•Truncamento

•Experimentação muito grande

49


2. Início no estado de maior probabilidade de ocorrência;

• Vantagem: – Começar em um estado representativo do

sistema

• Desvantagem: – Como determinar o estado mais provável?

– Como levar o sistema até esse estado?

50

Análise de Resultados3. Início na média do estado de equilíbrio

Começar a coleta para estatísticas quando os resultados se estabilizam

Truncamento de dados • Período de aquecimento – warm-up• Retardar a coleta de estatísticas por um período de

aquecimento• Problema: quando truncar?

10% do valor total (??)

http://images.google.com.br/imgres?imgurl=http://ops.fhwa.dot.gov/trafficanalysistools/tat_vol3/images/fig15.gif&imgrefurl=http://ops.fhwa.dot.gov/trafficanalysistools/tat_vol3/sectapp_c.htm&h=297&w=499&sz=9&tbnid=ek4pspd88zo0uM:&tbnh=75&tbnw=127&hl=pt-BR&start=4&prev=/images%3Fq%3Dwarmup%2Bsimulation%26svnum%3D10%26hl%3Dpt-BR%26lr%3D%26sa%3DG

51

Análise de ResultadosSegundo problema: Quando parar a Avaliação?Segundo problema: Quando parar a Avaliação?

Algumas possibilidades:

1. Limitar tempo de experimentação2. Limitar o número de elementos que

entram no sistema avaliado3. Limitar o número de entidades

processadas por um servidor4. Parada automática

52


1. Limitar tempo de experimentação

Desvantagem: número de amostras coletadas será diferente em cada caso

2. Limitar o número de elementos que entram no sistema

Termina em estado vazio e ociosoProblema inicial

53


3. Limitar o número de entidades processadas por um servidor

Problema: sistemas com prioridadesEx.: termina só com tarefas longas na fila – pode

camuflar os resultados

4. Parada automáticaManipulam resultados da experimentação em

intervalos selecionadosCalculam média e variânciaExperimentação pára quando a estimativa da

variância da média está dentro de certa tolerância

54


Primeiro e Segundo problemas:Primeiro e Segundo problemas:

• Relacionados com a condução do Relacionados com a condução do experimentoexperimento

• Dependem muito da técnica de avaliação Dependem muito da técnica de avaliação que está sendo utilizadaque está sendo utilizada

• Depende bastante do sistema que deve Depende bastante do sistema que deve ser avaliadoser avaliado

• Serão melhor discutidos em cada técnica Serão melhor discutidos em cada técnica de avaliação e/ou aplicação consideradade avaliação e/ou aplicação considerada

55


Terceiro problema:Terceiro problema:

Durante a obtenção de dados sobre sistemas computacionais, tem-se que...

Os Resultados de uma medição oferecem um resultado dentre

muitos outros possíveis

56

Análise de ResultadosTerceiro problema:Terceiro problema:

• Deve ser utilizado em qualquer Deve ser utilizado em qualquer experimento que gere um conjunto de experimento que gere um conjunto de resultados possíveisresultados possíveis

• Após a obtenção dos resultados estes Após a obtenção dos resultados estes devem ser analisados independente devem ser analisados independente da técnica utilizadada técnica utilizada

• Qual resultado deve ser considerado?Qual resultado deve ser considerado?• Como comparar dois conjuntos de Como comparar dois conjuntos de

resultados?resultados?

57


Como analisar os diferentes Como analisar os diferentes resultados de uma avaliação?resultados de uma avaliação?

• Primeiro objetivo da análise estatística dos resultados é estimar o erro ou intervalo de confiança

• Deve-se considerar diversos resultados provenientes de diferentes execuções– Para simulação: utilizar conjuntos de

números aleatórios sem correlação – diferentes sementes

– Para aferição: considerar diversas medidas

58

Como definir as sementes?Como definir as sementes?

• Diferentes sementes -> diferentes conjuntos de números aleatórios

• Pacotes de simulação permitem a escolha entre vários conjuntos

• Conjuntos de números aleatórios deve ser verificado – correlação entre os conjuntos


59

Como definir as sementes?Como definir as sementes?

• Outra possibilidade: valores das sementes obtidos a cada 100.000 elementos


Conjunto 1 Conjunto 2 Conjunto 3

Semente x1 x2 x3

Posição no conjunto

1 100.000 200.000

Resultados diferentes para cada conjunto

60

Utilização da CPU

• Semente 1 0.33

• Semente 2 0.32

• Semente 3 0.32

• Semente 4 0.29

• Semente 5 0.34

DISCO2

CPU

DISCO1

Análise de Resultados - Exemplo

Como analisar estes resultados?Perigo utilizar resultados de uma única simulação

61

Análise de ResultadosUtilização de Intervalos de confiançaUtilização de Intervalos de confiança

•A partir de um conjunto de resultados possíveis queremos estimar o comportamento de um sistema

•Podemos utilizar: –Valores fixos–Intervalos

•Valores fixos não permitem estimar o erro cometido

• Intervalos de confiança permitem avaliar a confiança no resultado

62


O que é o Intervalo de confiança?O que é o Intervalo de confiança?

Intervalo que com uma determinada Intervalo que com uma determinada probabilidade (confiança) contem o valor do probabilidade (confiança) contem o valor do

parâmetro estudadoparâmetro estudado

N

ii nyys

1

22 1)/()(

1-

/2 /2

Intervalo de Confiança

Y Y+H Y-H

Confiança = 100*(1- )% = probabilidade de erroY = média da amostraH = Largura do Intervalo de

Confiança

63

Análise de ResultadosO que significa O que significa Intervalo de confiançaIntervalo de confiança??

Se Confiança = 95% Tenho 95% de chance de que parâmetro estará dentro do intervalo

Nada garante que o resultado de uma única execução (Yi) cairá no intervalo

1-

/2 /2


Y Y+H Y-H

O resultado de uma única execução

poderá estar na área definida por /2

64

Análise de ResultadosComo determinar o Como determinar o Intervalo de Intervalo de

confiançaconfiança??(para amostras menores que 30)(para amostras menores que 30)

1. Ordenar os valores obtidos2. Eliminar os /2 maiores valores3. Eliminar os /2 menores valores4. Obtém-se o intervalo procurado

Ou então…Ou então…

Utiliza-se o Teorema do Limite Central e a Tabela t-student

65


66

Análise de ResultadosComo determinar o Como determinar o Intervalo de Intervalo de

confiançaconfiança??

Média Amostral Yi = Média das observações de uma execução

Estimativa Global Y = Média das médias amostrais

Variância Amostral

Desvio Padrão (DP)

t1-/2,N-1 distribuição Student com N-1 graus de

liberdade e nível de confiança igual a 1-

N

ii Nyys

1

22 )1/()(

2s

67


1-

/2 /2


Y Y+H Y-H

Como determinar o Como determinar o Intervalo de Intervalo de confiançaconfiança??

Largura do Intervalo de Confiança de 100(1- )%

H = t * desvio

H = t1-/2,N-1 *

Intervalo de confiança

Y ± H

Relação entre halfwidth e média

H/Y

2s

68

Análise de Resultados - Exemplo

• Xi: tempo na fila para cliente i• X: tempo médio na fila para 5.000

clientes: média real para tempo na fila -> não

conhecido

Tchegada = 125

Tserviço = 100

69

Análise de Resultados - Exemplo• Simulação executada 10 vezes para

diferentes conjuntos de números aleatórios, obtendo-se:

331,993 447,532

366,052 420,858

403,524 355,959

464,856 492,144

393,393 389,200

Y = 406,551

Esse valor está suficientemente próximo de ?

70

Análise de Resultados - Exemplo• Simulação executada 10 vezes

1- = 0,95 = 0,05

Média = Y = 406,551

Variância = S2 =

DP =

t.05/2;9 = 2,26

H = t.05/2;9 *DP =113,88

IC: 292,67 – 520,43

331,993 447,532

366,052 420,858

403,524 355,959

464,856 492,144

393,393 389,200

10

1

2

082,25399

......)551,406993,331(

i

389,50082,25392 s

71

Análise de Resultados - ExemploH = 113,88

IC: 292,67 – 520,43

Tem-se 95% de certeza que a

média verdadeira está entre 292,67 –

520,43

Valores individuais podem estar fora do intervalo de

confiança

Se a simulação for repetida várias vezes e em cada vez

for determinado o intervalo de confiança, 95% destes

intervalos irão conter a média verdadeira

72

Análise de Resultados - ExemploMédia = Y = 406,554

H = 113,88

IC: 292,67 – 520,43

Amplitude do intervalo de confiança = 226,76 55,7% do valor médio

Não é um valor muito grande?

Como diminuir?

Aumentando o número de replicaçõesAumentando o número de replicações

73


Controle do ErroControle do Erro

Utilizando-se a técnica de replicações:

Não pode-se determinar a precisão desejada

Pode-se determinar, aproximadamente, quantas replicações adicionais deve-se considerar para controlar o erro

Para um erro , deve-se ter:

H t1-/2,N-1 *DP

74

Análise de Resultados - Exemplo• Para o exemplo anterior

• Suponha que se queira <= 95• Seja r = as próximas replicações

r tr-1;0,95 tr-1;0,95*

11 2,23 47,80 106,60

12 2,20 45,58 100,27

13 2,18 43,64 95,13

14 2,16 41,93 90,56

1

74,22851

r

São necessárias mais 4 replicações para atingir o erro máximo desejado

1

74,22851

r

75

Conteúdo



Freqüentemente Utilizadas– Análise Estatística dos Resultados

– Comparação de ResultadosComparação de Resultados – Procedimento para análise de




76


Comparação entre dois experimentos

• Testes estatísticos podem ser utilizados para definir se os resultados provenientes de dois experimentos são conclusivos

• Definem se os resultados são estatisticamente diferentes

77


Variabilidade Média

Variabilidade Baixa

Variabilidade Alta

Teste visual

78

Comparação entre dois experimentosTeste visual

A

B

Caso 1 A

BA

B

Caso 2 Caso 3

Caso 1 – ICs não sobrepostos A > B

Caso 2 – Média de um está inserida no IC do outro A = B

Caso 3 – ICs sobrepostos mas média está fora necessário outro teste

79


Área de Estatística oferece grande número de testes para comparação

entre experimentos:– Teste t-student – para comparar a

média de duas amostras– Teste para amostras pareadas– Teste para amostras não pareadas– Análise de Variância - para comparar

média de três ou mais amostras– Chi-Quadrado e Poisson - para valores

não contínuos

80


Cáculo número de graus de liberdade n = nT + nC - 2

Entrar na tabela t-student com n e confiança desejada ttab

Se t > t tab médias são diferentes

Se t < t tab não existe diferença significativa entre as médias

Teste T-student

Cáculo o valor de t para a amostra:

81

Após dez replicações de um programa de simulação, avaliando-se o tempo médio na fila de um recurso, obtiveram-se as médias das amostras e intervalo de confiança para 95% e para 90% representados na tabela a seguir:


A B

Média 12 11

H1 (0,05) 0,8 0,9

H2 (0,2) 0,4 0,5

O que se pode concluir?

82

Análise de Resultados A B

Média 12 11

H1 (0,05) 0,8 0,9

H2 (0,2) 0,4 0,5

A

B

AB

H1 (0,05)

A - 11,2 – 12,2

B – 10,1 – 11,9

H2 (0,2)

A – 11,6 – 12,4

B – 10,5 – 11,5

83

Análise de Resultados A B

Média 12 11

H1 (0,05) 0,8 0,9

H2 (0,1) 0,4 0,5

A

B

AB

VarA = 1,13

VarB = 1,27

10/27,110/13,1

1112

t

n = nA + nB – 2 = 18 t =2,040

H1 (0,05) tt = 2,101 > 2,040 H1 (0,2) tt = 1,330 < 2,040

Não existe diferença significativa Médias diferentes

84

Teste de hipótese X Intervalo de Confiança

Teste de hipótese

•Resposta: aceita ou rejeita a hipótese

•Conclusivo: não deixa dúvida

•Não oferece maiores informações

•Difícil de interpretar

•O que significa tt = 2,101 > 2,040?

85

Teste de hipótese X Intervalo de Confiança

Intervalo de confiança

•Informações adicionais

•Intervalo pequenos parâmetro bem estimado

•Valores com o mesmo significado que as medidas originais mais fácil de entender e analisar

•Significado de Média=12 e H(95%)=0,6

86

Conteúdo



Freqüentemente Utilizadas– Análise Estatística dos Resultados– Comparação de Resultados

– Procedimento para análise de Procedimento para análise de resultadosresultados

– Exemplos3. Técnicas para Avaliação de Desempenho



87

Procedimento para análise de resultados

1. Escolher as variáveis de resposta adequadas e suficientes para atingir o objetivo

2. Escolher os fatores e níveis adequadamente3. Realizar o experimento quantas vezes forem

necessárias4. Pensar na melhor forma de apresentar os dados5. Fazer o tratamento estatístico adequado para

os resultados6. Observar os resultados e correlaciona-los com o

que se conhece do sistema sendo avaliado

88


1. Escolher as variáveis de resposta adequadas e suficientes para atingir o objetivo

• Não considerar variáveis essenciais pode levar a erros na análise

• Considerar variáveis desnecessárias contribui para aumentar a complexidade da análise

• Sempre tentar analisar conjuntos não muito grandes de variáveis e, se necessário, realizar a análise em diversas fases

89


2. Escolher os fatores e níveis adequadamente

• Escolher poucos fatores e, se possível, apenas dois níveis por fator

• Para os fatores com grande influência nas variáveis de resposta, detalhar processo separadamente.

• Considerar um grande número de fatores e de níveis em um primeiro momento da avaliação, torna a análise suscetível a erros.

90


3. Realizar o experimento quantas vezes forem necessárias

• Utilizar um dos métodos apresentados para determinar o ponto de parada de coleta de dados

• Não tirar conclusões baseando-se em um único resultado

91


4. Pensar na melhor forma de apresentar os dados

• Tabelas são ótimas para observar detalhes e valores precisos

• Gráficos são adequados para melhor visualizar os resultados

• Nos gráficos, cuidado com escalas e origem dos eixos

• Muitos valores em uma tabela ou em um gráfico tornam a análise mais complexa, e possíveis resultados mais difíceis de serem identificados

92


5. Fazer o tratamento estatístico adequado para os resultados

• Não tirar conclusões considerando-se apenas médias

• Valores médios só fazem sentido quando acompanhados de desvio padrão, variância, intervalo de confiança, etc.

• Valores médios com máximo e mínimo podem ajudar na análise mas não levam a resultados conclusivos, sem a presença de uma métrica que indique a dispersão dos dados

93


6. Observar os resultados e correlaciona-los com o que se conhece do sistema sendo avaliado

• Desconfie de resultados não esperados

• Tente relacionar os diferentes resultados obtidos

• Tente explicar os resultados obtidos

94


A seguir.....

Alguns Exemplos e Contra-exemplos relacionados a esses procedimentos....

95

Conteúdo




resultados

– ExemplosExemplos3. Técnicas para Avaliação de Desempenho



96

ExemplosExemplos

• Exemplo 1: Avaliar o desempenho gráfico de um sistema computacional– Trabalho desenvolvido por alunos do Curso de

Engenharia de Computação

• Exemplo 2: Tese de doutorado de Kalinka R. L. J. C. Branco (ICMC 2004) – Análise de índices de carga

• Exemplo 3: Redes sem fio X Redes com fio– Trabalho desenvolvido por alunos do Curso de

Engenharia de Computação

97

Exemplo 1Exemplo 1

• Objetivo: avaliar o desempenho gráfico e de CPU de um sistema computacional, e verificar quanto cada fator influência no desempenho do sistema.

• Utilizam-se três fatores:– Placa mãe + processador, possui dois níveis:

athleon64 3500+/dfi-lanparty e athlon64 3000+/asus

– Memória RAM: 1GB ddr2 433 dual channel e 2GB ddr2 433 dual channel

– Placa de vídeo: geforce 7800 GTX, 256mb PCI-Ex e ati radeon x600, 256mb PCI-Ex

98

Exemplo 1Exemplo 1• Técnica utilizada: Benchmark

• Variável de Resposta – pontuação nos Benchmarks– 3DMark

• mede desempenho da placa de vídeo• executa de 3 aplicações gráficas, e avalia desempenho do

sistema para programas como jogos 3D ou de renderização gráfica

– CPUMark – mede desempenho da CPU• execução de dois programas que avaliam o desempenho do

processador, realizando cálculos de iluminação e renderização de polígonos.

• Fatorial Completo

• Resultado: média de 10 execuções

99

Exemplo 1Exemplo 1• Gráfico de comparação da pontuação

3DMark dos testes:

Vermelho – intervalo de confiança

Teste 1 – athlon64 3000; 1GB; ati radeon x600Teste 2 - athlon64 3000; 2GB; ati radeon x600Teste 3 – athleon64 3500; 1GB; ati radeon x600Teste 4 – athleon64 3500; 2GB; ati radeon x600Teste 5 – athleon64 3500; 2GB; geforce 7800 GTXTeste 6 – athleon64 3500; 1GB; geforce 7800 GTXTeste 7 – athlon64 3000; 1GB; geforce 7800 GTXTeste 8 - athlon64 3000; 2GB; geforce 7800 GTX

100

Exemplo 1Exemplo 1• Gráfico de comparação da pontuação

CPUMark dos testes:Teste 1 – athlon64 3000; 1GB; ati radeon x600Teste 2 - athlon64 3000; 2GB; ati radeon x600Teste 3 – athleon64 3500; 1GB; ati radeon x600Teste 4 – athleon64 3500; 2GB; ati radeon x600Teste 5 – athleon64 3500; 2GB; geforce 7800 GTXTeste 6 – athleon64 3500; 1GB; geforce 7800 GTXTeste 7 – athlon64 3000; 1GB; geforce 7800 GTXTeste 8 - athlon64 3000; 2GB; geforce 7800 GTX

101

Exemplo 2Exemplo 2

• Tese de doutorado de Kalinka R. L. J. C. Branco (ICMC 2004)

• Avaliação de diferentes formas para escalonamento de processos em sistemas distribuídos.

• Resultados foram obtidos através de simulação.

102

Exemplo 2 – Fatores e Exemplo 2 – Fatores e NíveisNíveis

• Fator 1 – Tipos de Aplicação (CPU/disco/rede/quantidade de memória):

1. CPU-Bound: 100/0/0/10;2. Disk-Bound: 10/90/0/10;3. Network-Bound: 10/0/90/10;4. Mista 1: 50/30/20/10;5. Mista 2: 50/30/20/100.

• Fator 2 – Heterogeneidade das máquinas:1. Máquinas homogêneas;2. Máquinas parcialmente heterogêneas3. Máquinas heterogêneas.

103

Exemplo 2 – Fatores e Exemplo 2 – Fatores e NíveisNíveis

• Fator 3 – Forma de Escalonamento1. Baseado no índice de CPU2. Baseado em índice de Memória3. Baseado em índice de Disco4. Baseado em índice de Rede5. Round-Robin6. VIP - Vector for Index of Performance7. PVIP - Ponderated Vector for Index of

Performance

• Número de máquinas = 10;• Número de aplicações = 5.000

104

Exemplo 2Exemplo 2

• Qual a melhor forma de escalonamento?• Para que tipos de aplicação, pode-se dizer,

com certeza, que um tipo de escalonamento é melhor?

Tempos médios de resposta em uma configuração de máquinas homogêneas

CPU-Bound Disk-Bound Network-Bound Mista 1 Mista 2

CPU 160,22 3954,84 12513,84 2748,26 2805,80

Memória 1494,00 36316,92 115814,06 25736,37 25624,03

Disco 1494,00 3855,98 12850,12 2760,46 2750,96

Rede 1494,00 36316,92 12349,64 2714,88 2766,32

Round-Robin 161,20 3888,55 12507,25 2719,39 2765,67

VIP 159,46 3814,43 12274,80 2706,98 2738,84

PVIP 160,75 3851,15 12390,31 2713,73 2749,63

EscalonamentoAplicações

105

Exemplo 2Exemplo 2

Análise das diferenças estatisticamente significativas: aplicação CPU-Bound; plataforma homogênea

CPU Memória Disco Rede VIP PVIP Round Robin

Média 160,217 1493,996 1493,996 1493,996 159,458 160,754 161,202

Desvio Padrão 2,868 18,192 18,192 18,192 3,465 4,072 3,505

Variância 8,225 330,949 330,949 330,949 12,007 16,578 12,286

VIP - CPU

VIP - Memória VIP - Disco VIP – Rede

VIP – PVIP

VIP - Round Robin

Z Hipótese α=0,01 -0,654 -279,098 -279,098 -279,098

-0,939 -1,370

PVIP - CPU

PVIP - Memória PVIP - Disco

PVIP – Rede

PVIP – VIP

PVIP - Round Robin

Z Hipótese α=0,01 0,417 -276,987 -276,987 -276,987

0,939 -0,322

Hipótese nulidade H0: As duas formas de escalonamento comparadas não apresentam diferença significativa

Hipótese é rejeitada se Z -2.57, ou então, Z 2.57

Escalonamento

106

Exemplo 3Exemplo 3

• Este trabalho consistiu em medir a diferença de velocidade de navegação entre uma conexão sem fio e uma conexão com cabo de banda larga normal

107

Exemplo 3 - Fatores e Exemplo 3 - Fatores e níveisníveis

• Número de pacotes enviados– 40– 80

• Tamanho dos pacotes enviados (em Bytes)– 32– 1024

• Localização do receptor do pacotes– Internacional (www.lycos.co.uk)– Nacional (www.uol.com.br)– Local (Um IP de uma máquina conectada à rede)

• Quantidade de computadores com o mesmo tipo de conexão ligado ao hub– 2– 3

108

Exemplo 3 - Rede com Exemplo 3 - Rede com fiofio

109

Exemplo 3 - Rede sem Exemplo 3 - Rede sem fiofio

110

Conteúdo


2. Análise de Resultados

3.3. Técnicas para Avaliação de Técnicas para Avaliação de DesempenhoDesempenho



Documents

1 Avaliação de Desempenho de Sistemas Computacionais Aula 4/5 Marcos José Santana Regina Helena Carlucci Santana Universidade de São Paulo Instituto de