Embed Size (px)
Citation preview
1
Avaliação de Desempenho de Sistemas Computacionais
Análise de Resultados
Marcos José Santana
Regina Helena Carlucci Santana
Universidade de São PauloInstituto de Ciências Matemáticas e de Computação
Departamento de Sistemas de Computação
2
Conteúdo
1. Planejamento de Experimentos2. Técnicas para Avaliação de
Desempenho
3.3. Análise de ResultadosAnálise de Resultados – Introdução– Medidas de Desempenho – Análise Estatística dos Resultados– Comparação de Resultados – Procedimento para análise de resultados– Exemplos
3
Conteúdo
1. Planejamento de Experimentos
2.2. Análise de ResultadosAnálise de Resultados – IntroduçãoIntrodução– Medidas de Desempenho – Análise Estatística dos Resultados– Comparação de Resultados – Procedimento para análise de
resultados– Exemplos
3. Técnicas para Avaliação de Desempenho
4
Introdução
Massa de Dados
Dados agrupados Parâmetros Típicos
Coleta de Dados
Organização dos Dados
Caracterização dos Dados
2
X
H
Estatística Descritiva
5
Introdução
•Inferência Estatística– A partir de amostras -> conclusões
sobre a população• Erro amostral – elementos atípicos que
não representam a amostra -> diferença entre amostra e população
• Amostra viciada – tendência maior em selecionar algum tipo de elemento
6
Introdução•Inferência Estatística
– Erro amostral - cálculo aproximado
N – tamanho da população
E0 – Erro amostral tolerável
n – tamanho da amostra
7
Introdução•Inferência Estatística
– Erro amostral - cálculo aproximado
N – tamanho da população
E0 – Erro amostral tolerável
n – tamanho da amostra
E0
Pesquisas eleitorais
Esse comportamento explica a razão da amostra para eleição de prefeito de
uma grande cidade ser praticamente igual a de eleição para presidente
8
Análise de Resultados - Introdução
População
População
Amostragem
Amostra
Amostra
Dados Organizados
Dados Organizados
Conclusões sobre a
população
Conclusões sobre a
populaçãoInferência
Análise Descritiva
9
Análise de Resultados
• Universo: Eleitorado brasileiro - 135.804.433 eleitores
• Tamanho da amostra: 10.820 entrevistas
• A margem de erro é de dois pontos percentuais para mais ou para menos.
• Intervalo de Confiança- 95%
10
Análise de Resultados
• A margem de erro é de dois pontos percentuais para mais ou para menos.
• Intervalo de Confiança- 95%
11
Análise de Resultados
Segundo Sir Conan Doyle, criador do Segundo Sir Conan Doyle, criador do personagem Sherlock Holmes:personagem Sherlock Holmes:
"Enquanto um homem individualmente é um "Enquanto um homem individualmente é um quebra-cabeças insolúvel, no conjunto, ele quebra-cabeças insolúvel, no conjunto, ele
se torna uma certeza matemática. Você se torna uma certeza matemática. Você nunca pode prever o que um homem fará, nunca pode prever o que um homem fará, mas pode dizer com precisão o que, em mas pode dizer com precisão o que, em
média, um número deles fará. média, um número deles fará. Individualmente eles variam, mas em média Individualmente eles variam, mas em média
se mantêm constantes."se mantêm constantes."
12
Análise de ResultadosProcedimento erradoerrado normalmente utilizado
para uma avaliação
1. Desenvolvimento de um procedimento para avaliação
2. Validação e verificação do sistema de avaliação
3. Obtenção dos resultados através de umauma execução da forma de avaliação escolhida
4. Conclusões sobre o sistema em estudo
Equivalente a se considerar uma amostra unitária
13
Análise de ResultadosPor que esse Procedimento está erradoerrado?
Sistema a ser Sistema a ser AvaliadoAvaliado
entradas
saídas
Resultados
Tem-se controle de todo o sistema?
Como são controladas as entradas do sistema?
Quais as condições iniciais do sistema?
O que mais o sistema está processando no momento da avaliação?
Como controlar as interrupções?
Diferentes características a serem consideradas, p.ex. onde estão localizadas as informações no disco?
AferiçãoAferição
14
Análise de ResultadosPor que esse Procedimento está erradoerrado?
Tarefa programada pode ser ativada durante a execução?
Interrupção do clock.
Variável necessária está no cache? Na primeira vez que o processo executa pode não estar.
Quais as condições iniciais do sistema?
Que outros processos estão executando?
Tempo para Execução de Tempo para Execução de um processo em um um processo em um Sistema OperacionalSistema Operacional
15
Análise de Resultados
Sistema a Sistema a serser
AvaliadoAvaliado
ModelModeloo
Execução Execução da da
simulaçãsimulaçãoo
entradas
saídas
Variáveis aleatórias
Resultados Estocásticos
Representadas por
Estimativa das
ModelageModelagemm
16
Análise de Resultados
Portanto, Portanto,
Em uma aferição, a medida obtida é uma dentre um conjunto de
possibilidades
Em uma Simulação Estocástica, tem-se uma variabilidade inerente ao
processo estocástico da simulação
17
Análise de Resultados
Portanto... Portanto...
Deve-se utilizar os resultados que a estatística nos oferece para analisar
os resultados dos experimentos.
Estatística: ciência que investiga os processos de obtenção, organização e
análise de dados sobre uma população e os métodos de tirar conclusões e fazer
predições com base nesses dados.
Aurélio
18
Análise de Resultados
População
População
Amostragem
Amostra
Amostra
Dados Organizados
Dados Organizados
Conclusões sobre a
população
Conclusões sobre a
populaçãoInferência
Análise Descritiva
Conjunto de Resultados
Possíveis (infinito)
Conjunto de Medições
Realizadas
Cálculo de médias, máximos,
mínimos,intervalo de confiança, erro...
Conclusões sobre o Sistema Real
19
Análise de Resultados
Cuidado... Cuidado...
“Como mentir com Estatística”livro célebre de Huff, 1954.
Na verdade, nem sequer é preciso mentir, apenas mostrar a informação
conveniente e omitir as outras
Ricupero
20
Análise de Resultados
Cuidado... Cuidado...
... as informações utilizadas para opinar, escolher, comprar, absolver, vêm sendo criadas, não para expandir conhecimento, mas para promover um produto, uma causa, um político.
Crossen (1996)
21
Análise de Resultados
Cuidado... Cuidado...
Os números são lindos!!!!
Mas são também traiçoeiros....
Primeiro ponto a ser consideradoQue métricas estão sendo utilizadas?
O que representam os valores obtidos?
22
Conteúdo
1. Planejamento de Experimentos
2.2. Análise de ResultadosAnálise de Resultados – Introdução
– Medidas de DesempenhoMedidas de Desempenho– Análise Estatística dos Resultados– Comparação de Resultados – Procedimento para análise de
resultados– Exemplos
3. Técnicas para Avaliação de Desempenho
23
Medidas de Desempenho Freqüentemente Utilizadas
• Medidas de Posição– Média– Moda– Mediana
• Medidas de Dispersão– Desvio Padrão– Variância– Percentis– Box-Plot
24
Medidas de Posição• Média
– média aritmética dos valores– valores extremos “puxam” a média
• Moda– valor que ocorre mais vezes
• Mediana– divide o conjunto em duas partes iguais– num conjunto ordenado a mediana esta no
centro– Não é influenciada por valores extremos
25
1,382º
1,403º
1,351º
1,434º
1,455º
1,486º
1,487º
1,508º
1,529º
1,382º
1,403º
1,351º
1,434º
1,455º
1,486º
1,487º
1,508º
1,959º
md
X=1,44
X=1,49
Medidas de Posição
Média X Mediana
26
Medidas de Posição
0
10
20
30
40
50
60
70
80
90
00
:00
06
:00
12
:00
18
:00
00
:00
06
:00
12
:00
18
:00
00
:00
06
:00
12
:00
18
:00
00
:00
06
:00
12
:00
18
:00
00
:00
06
:00
12
:00
18
:00
00
:00
06
:00
12
:00
18
:00
00
:00
06
:00
12
:00
18
:00
% user % sys % wait for IO Fila de Execução
Exemplo: Medidas relacionadas a utilização da CPU de um Servidor
Ver planilha....
27
Medidas de Dispersão
• Medidas de Dispersão– Variância
– Desvio Padrão
– Análise de percentis
– Box-Plot
28
Medidas de Dispersão
• Percentis – dividem os dados em cem partes de tamanhos iguais
• Quartis: dividem em quatro grupos, delimitados pelos percentis 25, 50 e 75– 1º Quartil Q1 ou Q0.25 - valor a que
corresponde a percentagem cumulativa de 25%
– 3º Quartil Q3 ou Q0.75 - valor a que corresponde a percentagem cumulativa de 75%
29
Medidas de Dispersão
• Box Plot– Mostra a mediana, primeiro e terceiro quartis de
uma distribuição (pontos 50%, 25% e 75% na distribuição acumulada)
– Noção de outlier: observação que se encontra a mais de um dado múltiplo (1.5 ou 3.0) do intervalo inter-quartílico, acima ou abaixo dos percentis 75% e 25%, respectivamente
30
Medidas de Dispersão
•Outliers – valores extremos da população.
•Moderados (1ª espécie)(o)[Q3+1.5(Q3-Q1) ; Q3+3(Q3-Q1)] e[Q1-1.5(Q3-Q1) ; Q1-3(Q3-Q1)]
•Severos (2ª espécie)(*)[Q3+3(Q3-Q1) ; máximo] e [mínimo ; Q1-3(Q3-Q1)]
Q3 ou Q0.75
Q1 ou Q0.25
Mediana D
D – Distância entre Quartis
I
I – Intervalo das Amostras sem Outliers
*
o
o
o
o
*
31
Medidas de Dispersão
• Valores extremos Outliers– Dados díspares, muito grandes ou muito pequenos, em
relação aos demais, – Influenciam muito as médias– Podem distorcer conclusões– É fundamental sua detecção e tratamento.
• Possíveis causas de valores espúrios:– Erro na fase de mensuração (tomada da medida)– Erro na transcrição ou anotação do registro– Mudanças (reais) não-controláveis nas condições
experimentais.– Característica da variável (ex.:instabilidade)
32
Medidas de Dispersão
• Tratamento de Outliers– Muita controvérsia...– Não existe um critério ou metodologia
para rejeição de dados– Problema maior quando tem-se
pequena quantidade de dados ou uma distribuição normal não pode ser garantida.
“Nós estatísticos, não gostamos disso!” Marinho Gomes de Andrade Filho
33
Medidas de Dispersão
• Analisando Observações Atípicas (Exemplos)– Exemplo 1 – amostra sendo obtida em um sistema
durante o mês de abril de 2a. a 6a. das 9 as 17;• 21/04 – 6a.feira – feriado - deve ser desprezado
– Exemplo 2- Requisições de um servidor Web
– Exemplo 3 –Sistema Distribuído ambiente de desenvolvimento de software – distribuição bimodal
– Exemplo 4 –Acessos a um servidor Web ao longo de um dia
34
Medidas de Dispersão
• Podem-se desprezar dados atípicos?
Apenas o especialista na área pode responder.....
35
Conteúdo
1. Planejamento de Experimentos
2.2. Análise de ResultadosAnálise de Resultados – Introdução– Medidas de Desempenho
– Análise Estatística dos ResultadosAnálise Estatística dos Resultados– Comparação de Resultados – Procedimento para análise de
resultados– Exemplos
3. Técnicas para Avaliação de Desempenho
36
Análise de Resultados
Considera-se que alguma técnica para avaliação de desempenho e obtenção
dos resultados tenha sido utilizada
37
Análise de Resultados
Em qualquer experimentação, trêsproblemas a serem considerados:
1. Condições iniciais da experimentação
2. Quando parar uma experimentação3. Resultado de uma execução
oferece um resultado dentre muitos outros possíveis
38
Análise de ResultadosPrimeiro problema: Qual as Primeiro problema: Qual as condições iniciais que deve-se condições iniciais que deve-se ter para iniciar uma avaliação?ter para iniciar uma avaliação?
Três condições possíveis:1. Início no estado vazio; 2. Início no estado de maior
probabilidade de ocorrência; 3. Início na média do estado de
equilíbrio
39
Análise de Resultados1.Início no estado vazio
• Simples
• Todos os servidores desocupados -> filas vazias
• Importante para a análise do transitório mas não do comportamento estacionário
• Ex.: Banco
•Comportamento normal x inicial
• Solução:
•Valores iniciais
•Truncamento
•Experimentação muito grande
40
Análise de Resultados
2. Início no estado de maior probabilidade de ocorrência;
• Vantagem: – Começar em um estado representativo do
sistema
• Desvantagem: – Como determinar o estado mais provável?
– Como levar o sistema até esse estado?
41
Análise de Resultados3. Início na média do estado de equilíbrio
Começar a coleta para estatísticas quando os resultados se estabilizam
Truncamento de dados • Período de aquecimento – warm-up• Retardar a coleta de estatísticas por um período de
aquecimento• Problema: quando truncar?
10% do valor total (??)
42
Análise de ResultadosSegundo problema: Quando parar a Avaliação?Segundo problema: Quando parar a Avaliação?
Algumas possibilidades:
1. Limitar tempo de experimentação2. Limitar o número de elementos que
entram no sistema avaliado3. Limitar o número de entidades
processadas por um servidor4. Parada automática
43
Análise de Resultados
1. Limitar tempo de experimentação
Desvantagem: número de amostras coletadas será diferente em cada caso
2. Limitar o número de elementos que entram no sistema
Termina em estado vazio e ociosoProblema inicial
44
Análise de Resultados
3. Limitar o número de entidades processadas por um servidor
Problema: sistemas com prioridadesEx.: termina só com tarefas longas na fila – pode
camuflar os resultados
4. Parada automáticaManipulam resultados da experimentação em
intervalos selecionadosCalculam média e variânciaExperimentação pára quando a estimativa da
variância da média está dentro de certa tolerância
45
Análise de Resultados
Primeiro e Segundo problemas:Primeiro e Segundo problemas:
• Relacionados com a condução do Relacionados com a condução do experimentoexperimento
• Dependem muito da técnica de avaliação Dependem muito da técnica de avaliação que está sendo utilizadaque está sendo utilizada
• Depende bastante do sistema que deve Depende bastante do sistema que deve ser avaliadoser avaliado
• Serão melhor discutidos em cada técnica Serão melhor discutidos em cada técnica de avaliação e/ou aplicação consideradade avaliação e/ou aplicação considerada
46
Análise de Resultados
Terceiro problema:Terceiro problema:
Durante a obtenção de dados sobre sistemas computacionais, tem-se que...
Os Resultados de uma medição oferecem um resultado dentre
muitos outros possíveis
47
Análise de ResultadosTerceiro problema:Terceiro problema:
• Deve ser utilizado em qualquer Deve ser utilizado em qualquer experimento que gere um conjunto de experimento que gere um conjunto de resultados possíveisresultados possíveis
• Após a obtenção dos resultados estes Após a obtenção dos resultados estes devem ser analisados independente devem ser analisados independente da técnica utilizadada técnica utilizada
• Qual resultado deve ser considerado?Qual resultado deve ser considerado?• Como comparar dois conjuntos de Como comparar dois conjuntos de
resultados?resultados?
48
Análise de Resultados
Como analisar os diferentes Como analisar os diferentes resultados de uma avaliação?resultados de uma avaliação?
• Primeiro objetivo da análise estatística dos resultados é estimar o erro ou intervalo de confiança
• Deve-se considerar diversos resultados provenientes de diferentes execuções– Para simulação: utilizar conjuntos de
números aleatórios sem correlação – diferentes sementes
– Para aferição: considerar diversas medidas
49
Utilização da CPU
• Semente 1 0.33123
• Semente 2 0.32571
• Semente 3 0.32510
• Semente 4 0.31999
• Semente 5 0.33813
DISCO2
CPU
DISCO1
Análise de Resultados - Exemplo
Como analisar estes resultados?Perigo utilizar resultados de uma única simulação
50
Análise de ResultadosUtilização de Intervalos de confiançaUtilização de Intervalos de confiança
•A partir de um conjunto de resultados possíveis queremos estimar o comportamento de um sistema
•Podemos utilizar: –Valores fixos–Intervalos
•Valores fixos não permitem estimar o erro cometido
• Intervalos de confiança permitem avaliar a confiança no resultado
51
Análise de Resultados
O que é o Intervalo de confiança?O que é o Intervalo de confiança?
Intervalo que com uma determinada Intervalo que com uma determinada probabilidade (confiança) contem o valor do probabilidade (confiança) contem o valor do
parâmetro estudadoparâmetro estudado
N
ii nyys
1
22 1)/()(
1-
/2 /2
Intervalo de Confiança
Y Y+H Y-H
Confiança = 100*(1- )% = probabilidade de erroY = média da amostraH = Largura do Intervalo de
Confiança
52
Análise de ResultadosO que significa O que significa Intervalo de confiançaIntervalo de confiança??
Se Confiança = 95% Tenho 95% de chance de que parâmetro estará dentro do intervalo
Nada garante que o resultado de uma única execução (Yi) cairá no intervalo
1-
/2 /2
Intervalo de Confiança
Y Y+H Y-H
O resultado de uma única execução
poderá estar na área definida por /2
53
Análise de ResultadosComo determinar o Como determinar o Intervalo de Intervalo de
confiançaconfiança??(para amostras menores que 30)(para amostras menores que 30)
1. Ordenar os valores obtidos2. Eliminar os /2 maiores valores3. Eliminar os /2 menores valores4. Obtém-se o intervalo procurado
Ou então…Ou então…
Utiliza-se o Teorema do Limite Central e a Tabela t-student
54
Análise de Resultados
55
Análise de ResultadosComo determinar o Como determinar o Intervalo de Intervalo de
confiançaconfiança??
Média Amostral Yi = Média das observações de uma execução
Estimativa Global Y = Média das médias amostrais
Variância Amostral
Desvio Padrão (DP)
t1-/2,N-1 distribuição Student com N-1 graus de
liberdade e nível de confiança igual a 1-
N
ii Nyys
1
22 )1/()(
2s
56
Análise de Resultados
1-
/2 /2
Intervalo de Confiança
Y Y+H Y-H
Como determinar o Como determinar o Intervalo de Intervalo de confiançaconfiança??
Largura do Intervalo de Confiança de 100(1- )%
H = t * desvio
H = t1-/2,N-1 *
Intervalo de confiança
Y ± H
Relação entre halfwidth e média
H/Y
ns /2
57
Análise de Resultados - Exemplo
• Xi: tempo na fila para cliente i• X: tempo médio na fila para 5.000
clientes: média real para tempo na fila -> não
conhecido
Tchegada = 125
Tserviço = 100
58
Análise de Resultados - Exemplo• Simulação executada 10 vezes para
diferentes conjuntos de números aleatórios, obtendo-se:
331,993 447,532
366,052 420,858
403,524 355,959
464,856 492,144
393,393 389,200
Y = 406,551
Esse valor está suficientemente próximo de ?
59
Análise de Resultados - Exemplo• Simulação executada 10 vezes
1- = 0,95 = 0,05
Média = Y = 406,551
Variância = S2 =
DP =
t.05/2;9 = 2,26
H = t.05/2;9 *DP =36,012
IC: 370,54 – 442,56
331,993 447,532
366,052 420,858
403,524 355,959
464,856 492,144
393,393 389,200
10
1
2
082,25399
......)551,406993,331(
i
389,50082,25392 s
60
Análise de Resultados - ExemploH = 36,012
IC: 370,54 – 442,56
Tem-se 95% de certeza que a
média verdadeira está entre 370,54 –
442,56
Valores individuais podem estar fora do intervalo de
confiança
Se a simulação for repetida várias vezes e em cada vez
for determinado o intervalo de confiança, 95% destes
intervalos irão conter a média verdadeira
61
Análise de Resultados - ExemploMédia = Y = 406,554
H = 36,012
IC: 370,54 – 442,56
Amplitude do intervalo de confiança = 72 17,8% do valor médio
Não é um valor muito grande?
Como diminuir?
Aumentando o número de replicaçõesAumentando o número de replicações
62
Análise de Resultados
Controle do ErroControle do Erro
Utilizando-se a técnica de replicações:
Não pode-se determinar a precisão desejada
Pode-se determinar, aproximadamente, quantas replicações adicionais deve-se considerar para controlar o erro
63
Análise de Resultados - Exemplo• Para o exemplo anterior• Suponha que se queira 2*H <= 15% da Média
H <=30,49• Seja r = as próximas replicações
r tr-1;0,95 tr-1;0,95*
11 2,23 15,934 35,53393
12 2,20 15,193 33,42448
13 2,18 14,546 31,71058
14 2,16 13,975 30,18703
1
74,22851
r
São necessárias mais 4 replicações para atingir o erro máximo desejado
1
74,22851
r
64
Conteúdo
1. Planejamento de Experimentos
2.2. Análise de ResultadosAnálise de Resultados – Introdução– Medidas de Desempenho – Análise Estatística dos Resultados
– Comparação de ResultadosComparação de Resultados – Procedimento para análise de
resultados– Exemplos
3. Técnicas para Avaliação de Desempenho
65
Análise de Resultados
Comparação entre dois experimentos
• Testes estatísticos podem ser utilizados para definir se os resultados provenientes de dois experimentos são conclusivos
• Definem se os resultados são estatisticamente diferentes
66
Comparação entre dois experimentos
Variabilidade Média
Variabilidade Baixa
Variabilidade Alta
Teste visual
67
Comparação entre dois experimentosTeste visual
A
B
Caso 1 A
BA
B
Caso 2 Caso 3
Caso 1 – ICs não sobrepostos A > B
Caso 2 – Média de um está inserida no IC do outro A = B
Caso 3 – ICs sobrepostos mas média está fora necessário outro teste
68
Comparação entre dois experimentos
Área de Estatística oferece grande número de testes para comparação
entre experimentos:– Teste t-student – para comparar a
média de duas amostras– Teste para amostras pareadas– Teste para amostras não pareadas– Análise de Variância - para comparar
média de três ou mais amostras– Chi-Quadrado e Poisson - para valores
não contínuos
69
Comparação entre dois experimentos
Cáculo número de graus de liberdade n = nT + nC - 2
Entrar na tabela t-student com n e confiança desejada ttab
Se t > t tab médias são diferentes
Se t < t tab não existe diferença significativa entre as médias
Teste T-student
Cáculo o valor de t para a amostra:
70
Após dez replicações de um programa de simulação, avaliando-se o tempo médio na fila de um recurso, obtiveram-se as médias das amostras e intervalo de confiança para 95% e para 90% representados na tabela a seguir:
Análise de Resultados
A B
Média 12 11
H1 (0,05) 0,8 0,9
H2 (0,2) 0,4 0,5
O que se pode concluir?
71
Análise de Resultados A B
Média 12 11
H1 (0,05) 0,8 0,9
H2 (0,2) 0,4 0,5
A
B
AB
H1 (0,05)
A - 11,2 – 12,2
B – 10,1 – 11,9
H2 (0,2)
A – 11,6 – 12,4
B – 10,5 – 11,5
72
Análise de Resultados A B
Média 12 11
H1 (0,05) 0,8 0,9
H2 (0,1) 0,4 0,5
A
B
AB
VarA = 1,13
VarB = 1,27
10/27,110/13,1
1112
t
n = nA + nB – 2 = 18 t =2,040
H1 (0,05) tt = 2,101 > 2,040 H1 (0,2) tt = 1,330 < 2,040
Não existe diferença significativa Médias diferentes
73
Análise de ResultadosExperimento com um fator e mais de dois níveisExperimento com um fator e mais de dois níveis
Níveis Repetições
1 2 3 r Soma Média
1 y11 y12 y13 y1r y1 My1
2 y21 y22 y23 y2r y2 My2
3 y31 y32 y33 y3r y3 My3
K yk1 yk2 yk3 ykr yk Myk
Total Soma Média
Comparar a variabilidade dentro das amostras com a variabilidade
das médias das amostras
ANOVAANOVA
74
Análise de ResultadosExperimento com um fator e mais de dois níveisExperimento com um fator e mais de dois níveis
Quadro da Anova para um experimento inteiramente ao acaso
Hipótise H0 – testa a não influência do fatorDistribuição F-Snedecor
com (k -1) e (N – k) graus de liberdade
Confiança 1-
F (k –1;N – k)
75
Análise de ResultadosExperimento com um fator e mais de dois níveisExperimento com um fator e mais de dois níveis
Quadro da Anova para um experimento inteiramente ao acaso
Hipótise H0 – testa a não influência do fator
Fonte Graus de Liberdade
Soma dos Quadrados Quadrados Médios Fc
Entre níveis k-1 SQN= (Myi-média)2 QMN=SQN/(k-1) QMN/QMR
Resíduo N-k SQR = (yij-Myi)2 QMR= SQR/(N-k)
Total N-1 SQT= (yij-média)2
76
Análise de ResultadosExperimento com um fator e mais de dois níveisExperimento com um fator e mais de dois níveis
Quadro da Anova para um experimento inteiramente ao acaso
Hipótise H0 – testa a não influência do fator
Se Fc > F (k –1;N – k)
HH0 0 rejeitadarejeitada
Fator analisado influencia na variável de resposta
77
Teste de hipótese X Intervalo de Confiança
Teste de hipótese
•Resposta: aceita ou rejeita a hipótese
•Conclusivo: não deixa dúvida
•Não oferece maiores informações
•Difícil de interpretar
•O que significa tt = 2,101 > 2,040?
78
Teste de hipótese X Intervalo de Confiança
Intervalo de confiança
•Informações adicionais
•Intervalo pequenos parâmetro bem estimado
•Valores com o mesmo significado que as medidas originais mais fácil de entender e analisar
•Significado de Média=12 e H(95%)=0,6
79
Conteúdo
1. Planejamento de Experimentos
2.2. Análise de ResultadosAnálise de Resultados – Introdução– Medidas de Desempenho – Análise Estatística dos Resultados– Comparação de Resultados
– Procedimento para análise de Procedimento para análise de resultadosresultados
– Exemplos
3. Técnicas para Avaliação de Desempenho
80
Procedimento para análise de resultados
1. Escolher as variáveis de resposta adequadas e suficientes para atingir o objetivo
2. Escolher os fatores e níveis adequadamente3. Realizar o experimento quantas vezes forem
necessárias4. Pensar na melhor forma de apresentar os dados5. Fazer o tratamento estatístico adequado para
os resultados6. Observar os resultados e correlaciona-los com o
que se conhece do sistema sendo avaliado
81
Procedimento para análise de resultados
1. Escolher as variáveis de resposta adequadas e suficientes para atingir o objetivo
• Não considerar variáveis essenciais pode levar a erros na análise
• Considerar variáveis desnecessárias contribui para aumentar a complexidade da análise
• Sempre tentar analisar conjuntos não muito grandes de variáveis e, se necessário, realizar a análise em diversas fases
82
Procedimento para análise de resultados
2. Escolher os fatores e níveis adequadamente
• Escolher poucos fatores e, se possível, apenas dois níveis por fator
• Para os fatores com grande influência nas variáveis de resposta, detalhar processo separadamente.
• Considerar um grande número de fatores e de níveis em um primeiro momento da avaliação, torna a análise suscetível a erros.
83
Procedimento para análise de resultados
3. Realizar o experimento quantas vezes forem necessárias
• Utilizar um dos métodos apresentados para determinar o ponto de parada de coleta de dados
• Não tirar conclusões baseando-se em um único resultado
84
Procedimento para análise de resultados
4. Pensar na melhor forma de apresentar os dados
• Tabelas são ótimas para observar detalhes e valores precisos
• Gráficos são adequados para melhor visualizar os resultados
• Nos gráficos, cuidado com escalas e origem dos eixos
• Muitos valores em uma tabela ou em um gráfico tornam a análise mais complexa, e possíveis resultados mais difíceis de serem identificados
85
Procedimento para análise de resultados
5. Fazer o tratamento estatístico adequado para os resultados
• Não tirar conclusões considerando-se apenas médias
• Valores médios só fazem sentido quando acompanhados de desvio padrão, variância, intervalo de confiança, etc.
• Valores médios com máximo e mínimo podem ajudar na análise mas não levam a resultados conclusivos, sem a presença de uma métrica que indique a dispersão dos dados
86
Procedimento para análise de resultados
6. Observar os resultados e correlaciona-los com o que se conhece do sistema sendo avaliado
• Desconfie de resultados não esperados
• Tente relacionar os diferentes resultados obtidos
• Tente explicar os resultados obtidos
87
Procedimento para análise de resultados
A seguir.....
Alguns Exemplos e Contra-exemplos relacionados a esses procedimentos....
88
Conteúdo
1. Planejamento de Experimentos
2.2. Análise de ResultadosAnálise de Resultados – Introdução– Medidas de Desempenho – Análise Estatística dos Resultados– Comparação de Resultados – Procedimento para análise de
resultados
– ExemplosExemplos
3. Técnicas para Avaliação de Desempenho
89
ExemplosExemplos
• Exemplo 1: Avaliar o desempenho gráfico de um sistema computacional– Trabalho desenvolvido por alunos do Curso de
Engenharia de Computação
• Exemplo 2: Tese de doutorado de Kalinka R. L. J. C. Branco (ICMC 2004) – Análise de índices de carga
• Exemplo 3: Redes sem fio X Redes com fio– Trabalho desenvolvido por alunos do Curso de
Engenharia de Computação
90
Exemplo 1Exemplo 1
• Objetivo: avaliar o desempenho gráfico e de CPU de um sistema computacional, e verificar quanto cada fator influência no desempenho do sistema.
• Utilizam-se três fatores:– Placa mãe + processador, possui dois níveis:
athleon64 3500+/dfi-lanparty e athlon64 3000+/asus
– Memória RAM: 1GB ddr2 433 dual channel e 2GB ddr2 433 dual channel
– Placa de vídeo: geforce 7800 GTX, 256mb PCI-Ex e ati radeon x600, 256mb PCI-Ex
91
Exemplo 1Exemplo 1• Técnica utilizada: Benchmark
• Variável de Resposta – pontuação nos Benchmarks– 3DMark
• mede desempenho da placa de vídeo• executa de 3 aplicações gráficas, e avalia desempenho do
sistema para programas como jogos 3D ou de renderização gráfica
– CPUMark – mede desempenho da CPU• execução de dois programas que avaliam o desempenho do
processador, realizando cálculos de iluminação e renderização de polígonos.
• Fatorial Completo
• Resultado: média de 10 execuções
92
Exemplo 1Exemplo 1• Gráfico de comparação da pontuação
3DMark dos testes:
Vermelho – intervalo de confiança
Teste 1 – athlon64 3000; 1GB; ati radeon x600Teste 2 - athlon64 3000; 2GB; ati radeon x600Teste 3 – athleon64 3500; 1GB; ati radeon x600Teste 4 – athleon64 3500; 2GB; ati radeon x600Teste 5 – athleon64 3500; 2GB; geforce 7800 GTXTeste 6 – athleon64 3500; 1GB; geforce 7800 GTXTeste 7 – athlon64 3000; 1GB; geforce 7800 GTXTeste 8 - athlon64 3000; 2GB; geforce 7800 GTX
93
Exemplo 1Exemplo 1• Gráfico de comparação da pontuação
CPUMark dos testes:Teste 1 – athlon64 3000; 1GB; ati radeon x600Teste 2 - athlon64 3000; 2GB; ati radeon x600Teste 3 – athleon64 3500; 1GB; ati radeon x600Teste 4 – athleon64 3500; 2GB; ati radeon x600Teste 5 – athleon64 3500; 2GB; geforce 7800 GTXTeste 6 – athleon64 3500; 1GB; geforce 7800 GTXTeste 7 – athlon64 3000; 1GB; geforce 7800 GTXTeste 8 - athlon64 3000; 2GB; geforce 7800 GTX
94
Exemplo 2Exemplo 2
• Tese de doutorado de Kalinka R. L. J. C. Branco (ICMC 2004)
• Avaliação de diferentes formas para escalonamento de processos em sistemas distribuídos.
• Resultados foram obtidos através de simulação.
95
Exemplo 2 – Fatores e Exemplo 2 – Fatores e NíveisNíveis
• Fator 1 – Tipos de Aplicação (CPU/disco/rede/quantidade de memória):
1. CPU-Bound: 100/0/0/10;2. Disk-Bound: 10/90/0/10;3. Network-Bound: 10/0/90/10;4. Mista 1: 50/30/20/10;5. Mista 2: 50/30/20/100.
• Fator 2 – Heterogeneidade das máquinas:1. Máquinas homogêneas;2. Máquinas parcialmente heterogêneas3. Máquinas heterogêneas.
96
Exemplo 2 – Fatores e Exemplo 2 – Fatores e NíveisNíveis
• Fator 3 – Forma de Escalonamento1. Baseado no índice de CPU2. Baseado em índice de Memória3. Baseado em índice de Disco4. Baseado em índice de Rede5. Round-Robin6. VIP - Vector for Index of Performance7. PVIP - Ponderated Vector for Index of
Performance
• Número de máquinas = 10;• Número de aplicações = 5.000
97
Exemplo 2Exemplo 2
• Qual a melhor forma de escalonamento?• Para que tipos de aplicação, pode-se dizer,
com certeza, que um tipo de escalonamento é melhor?
Tempos médios de resposta em uma configuração de máquinas homogêneas
CPU-Bound Disk-Bound Network-Bound Mista 1 Mista 2
CPU 160,22 3954,84 12513,84 2748,26 2805,80
Memória 1494,00 36316,92 115814,06 25736,37 25624,03
Disco 1494,00 3855,98 12850,12 2760,46 2750,96
Rede 1494,00 36316,92 12349,64 2714,88 2766,32
Round-Robin 161,20 3888,55 12507,25 2719,39 2765,67
VIP 159,46 3814,43 12274,80 2706,98 2738,84
PVIP 160,75 3851,15 12390,31 2713,73 2749,63
EscalonamentoAplicações
98
Exemplo 2Exemplo 2
Análise das diferenças estatisticamente significativas: aplicação CPU-Bound; plataforma homogênea
CPU Memória Disco Rede VIP PVIP Round Robin
Média 160,217 1493,996 1493,996 1493,996 159,458 160,754 161,202
Desvio Padrão 2,868 18,192 18,192 18,192 3,465 4,072 3,505
Variância 8,225 330,949 330,949 330,949 12,007 16,578 12,286
VIP - CPU
VIP - Memória VIP - Disco VIP – Rede
VIP – PVIP
VIP - Round Robin
Z Hipótese α=0,01 -0,654 -279,098 -279,098 -279,098
-0,939 -1,370
PVIP - CPU
PVIP - Memória PVIP - Disco
PVIP – Rede
PVIP – VIP
PVIP - Round Robin
Z Hipótese α=0,01 0,417 -276,987 -276,987 -276,987
0,939 -0,322
Hipótese nulidade H0: As duas formas de escalonamento comparadas não apresentam diferença significativa
Hipótese é rejeitada se Z -2.57, ou então, Z 2.57
Escalonamento
99
Exemplo 3Exemplo 3
• Este trabalho consistiu em medir a diferença de velocidade de navegação entre uma conexão sem fio e uma conexão com cabo de banda larga normal
100
Exemplo 3 - Fatores e Exemplo 3 - Fatores e níveisníveis
• Número de pacotes enviados– 40– 80
• Tamanho dos pacotes enviados (em Bytes)– 32– 1024
• Localização do receptor do pacotes– Internacional (www.lycos.co.uk)– Nacional (www.uol.com.br)– Local (Um IP de uma máquina conectada à rede)
• Quantidade de computadores com o mesmo tipo de conexão ligado ao hub– 2– 3
101
Exemplo 3 - Rede com Exemplo 3 - Rede com fiofio
102
Exemplo 3 - Rede sem Exemplo 3 - Rede sem fiofio
103
Conteúdo
1. Planejamento de Experimentos
2. Análise de Resultados
3.3. Técnicas para Avaliação de Técnicas para Avaliação de DesempenhoDesempenho
