Upload
internet
View
104
Download
0
Embed Size (px)
Citation preview
Avaliação de Desempenho Planejamento de Experimentos 2
Aula 3
Marcos José Santana
Regina Helena Carlucci Santana
Universidade de São PauloInstituto de Ciências Matemáticas e de Computação
Departamento de Sistemas de Computação
Avaliação de Desempenho1. Planejamento de Experimentos
– Motivação– Introdução à Avaliação de Desempenho– Etapas de um Experimento– Planejamento do ExperimentoPlanejamento do Experimento
• Conceitos Básicos• Variável de Resposta• Carga de trabalho
• Modelos para Planejamento de Modelos para Planejamento de ExperimentoExperimento
2. Análise de Resultados 3. Técnicas para Avaliação de Desempenho
Tipos de Planejamento de Experimentos
• Planejamento Simples
• Planejamento Fatorial completo
• Planejamento Fatorial parcial
A
B
Projeto 32
-1 0 1-1
0
1
2 Fatores3 níveis
Tipos de Planejamento de ExperimentosPlanejamento Simples
Projeto 33
3 Fatores 3 Níveis
A
B
C
K
iinn
1
)1(1Não recomendado
Muito utilizado
Tipos de Planejamento de Experimentos
Planejamento Totalmente Fatorial
– Utiliza todas as combinações considerando todos os fatores e todos os níveis
Projeto 33
3 Fatores 3 Níveis
A
B
C
K
iinn
1
Efeito dos fatores e interações são avaliados
Grande número de experimentos
Planejamento Totalmente FatorialFormas para minimizar custos
1.Reduzir o número de níveis de cada fator
2.Reduzir o número de fatores
3.Utilizar o método do Fatorial Parcial
A
B
C
Mais rápido
Obtém-se menos informações
Método Fatorial• Pelo método fatorial pode-se ter k fatores com
ni níveis para cada fator i
• Para valores elevados de K e ni o custo da avaliação pode tornar-se inviável, principalmente lembrando-se que diversas execuções de cada experimento devem ser consideradas.
• Forma recomendada: Iniciar com poucos fatores e 2 níveis por fator.
Método Fatorial• Selecionar poucos fatores e 2 níveis por fator.• Para entender a abordagem utilizada para a
análise inicia-se com 2 fatores contendo 2 níveis em cada um - 22
A
B-1,-1
1,11,-1
-1,1
(A,B)
A
BC
(A,B,C)
-1,-1,-1
1,1,-11,-1,1
1,-1,1 1,1,1
-1,1,-1
-1,1,-1
Projeto Fatorial 22
• Análise através de modelos de regressão• Considere um problema analisando dois fatores
(A e B)• Quatro experimentos são efetuados obtendo-se
os valores y1, y2, y3, y4
• Os quatro experimentos consideram a seguinte seqüência Experimento A B y
1 -1 -1 y1
2 1 -1 y2
3 -1 1 y3
4 1 1 y4
A
B-1,-1
1,11,-1
-1,1
(A,B)
Modelos de RegressãoModelos de Regressão• Relaciona o comportamento de uma variável de
resposta com outras variáveisvariável de resposta = f (fatores)
• Objetivos:– Estimar o relacionamento entre a variável de saída e os
fatores– Estimar comportamento
futuro
Fator
Variável de resposta
Tipos de Modelos de RegressãoTipos de Modelos de RegressãoLinear X Não Linear
Variável de resposta pode ser representada por uma função linear (ou não linear) da
variável de entrada
Linear
Não linearO tempo de
acesso à memória interfere
no tempo de resposta de um processador?
Tempo Memória
Tempo proc
Tipos de Modelos de RegressãoTipos de Modelos de RegressãoSimples X Múltipla
Variável de resposta pode ser representada como função de uma variável de entrada (simples) ou de várias variáveis (múltipla)
Como o tempo de acesso a memória e o
tamanho do cache interferem no tempo de
resposta de um processador?
Modelos de RegressãoModelos de RegressãoLinear e Simples
Tempo Proc = a + b* Tempo Memória
a = 17,1b = 7,4
Coeficiente de Determinação Indica quanto o modelo de regressão explica
da variação da variável de resposta – R2
Como medir se esse resultado está bom?
Modelos de RegressãoModelos de Regressão
Soma dos Quadrados dos Erros - SSE
Coeficiente de Determinação Indica quanto o modelo de
regressão explica da variação da variável de resposta – R2
2
1
))((
n
iii bxaySSE
Soma dos Quadrados Totais - SST2
1
)(
n
iii yySST
SST
SSESSTR
2 R2 - Quanto mais próximo de um mais o modelo
representa adequadamente a variável de resposta
Projeto Fatorial 22
• Análise através de modelos de regressão• Considere um problema analisando dois fatores
(A e B)• Quatro experimentos são efetuados obtendo-se
os valores y1, y2, y3, y4
• Os quatro experimentos consideram a seguinte sequência Experimento A B y
1 -1 -1 y1
2 1 -1 y2
3 -1 1 y3
4 1 1 y4
A
B-1,-1
1,11,-1
-1,1
(A,B)
Projeto Fatorial 22
• Modelo para projeto 22 é dado por:
y = q0+ qAxA + qBxB + qABxAB
• Substituindo-se as quatro observações no modelo, obtêm-se os valores de q0, qA, qB, qAB
q0 = ¼ *(y1 + y2 + y3 + y4)
qA = ¼ *(-y1 + y2 - y3 + y4)
qB = ¼ *(-y1 - y2 + y3 + y4)
qAB = ¼ *(y1 - y2 - y3 + y4)
Projeto Fatorial 22
•A partir dos valores de q0, qA, qB, qAB pode-se determinar a soma dos quadrados
•A soma dos quadrados dará a variação total das variáveis de resposta e as variações devido a influência do fator A, do fator B e da interação entre A e B
•Variância Total de y ou
Soma dos Quadrados Total –
ou
22
1
2)(i
i yySST
222222 222 ABBA qqqSST
Projeto Fatorial 22
1. A soma das entradas em cada coluna = 0
Experimento A B y
1 -1 -1 y1
2 1 -1 y2
3 -1 1 y3
4 1 1 y4
2. Soma dos quadrados em cada coluna = 4
3. Produto interno de cada duas colunas = 0
Projeto Fatorial 22
A Média da Amostra é dada por:
Modelo considerado:
y = q0+ qAxA + qBxB + qABxAB
Projeto Fatorial 22
Variação total - SST:
Projeto Fatorial 22
Soma dos Quadrados devido a influência do Fator A
Soma dos Quadrados devido a influência do Fator B
Soma dos Quadrados devido a interação entre os Fatores A e B
222 ABqSSAB
222 BqSSB
222 AqSSAInfluência do Fator A = SSA / SST
Influência do Fator B = SSB / SST
Influência da interação entre os Fatores A e B = SSAB/SST
Projeto Fatorial 22
Interpretações possíveis a partir desses resultados:– Média da variável de resposta – q0
– Qual a variação da variável de resposta devido ao fator A
– Qual a variação da variável de resposta devido ao fator B
– Qual a variação devido a interação entre os fatores A e B
– De que fator a variável de resposta é mais dependente?
– Algum dos fatores observados pode ser desprezado?– A interação entre os fatores observados é
considerável?
Projeto Fatorial 22
Exemplo: Avaliação de duas redes de comunicação em uma máquina paralela com:
• 16 processadores• Escalonamento aleatório• Não existe problema de acesso a memória –
interleaving de memória infinito • Redes utilizam Chaveamento de circuito – conexão
é estabelecida da fonte ao destino e pacotes são enviados (ex. telefone)
• Requisições não atendidas são bloqueadas
Fatores Considerados
Duas formas de acesso a memória – Fator B
• Aleatório – probabilidade uniforme de referenciar cada posição de memória – Nível = -1
• Matriz – simula uma multiplicação de matrizes – Nível = 1
Duas Redes de Interconexão – Fator A
• Omega – Nível = 1• Crossbar – Nível = -1
Tipos de Redes de Interconexão Consideradas
Resultados ObtidosVariáveis de Resposta
– Throughput - T– Ciclos para transmissão - N– Tempo de Resposta – R
Fatores Variáveis de Resposta
A (rede) B(Acesso) T N R
-1(C) -1(A) 0,6041 3 1,655
1(O) -1 (A) 0,7922 2 1,262
-1(C) 1(M) 0,4220 5 2,378
1(O) 1 (M) 0,4717 4 2,190
Fatores Variáveis de Resposta
I A (rede) B(Acesso) AB T N R
1 -1(C) -1(A) 1 0,6041 3 1,655
1 1(O) -1 (A) -1 0,7922 2 1,262
1 -1(C) 1(M) -1 0,4220 5 2,378
1 1(O) 1 (M) 1 0,4717 4 2,190
Parâmetro Média Estimada Variação %
T N R T N R
q0 0,5725 3,5 1,871
qA 0,0595 -0,5 -0,145 17,2 20 10,9
qB -0,1257 1,0 0,413 77,0 80 87,8
qAB -0,0346 0 0,051 5,8 0 1,3
SSA/SST=0.05952 /(0,05952+0,12572+0,03462)
Parâmetro Média Estimada Variação %
T N R T N R
q0 0,5725 3,5 1,871
qA 0,0595 -0,5 -0,145 17,2 20 10,9
qB -0,1257 1,0 0,413 77,0 80 87,8
qAB -0,0346 0 0,051 5,8 0 1,3
•Média das variáveis de Resposta – q0
•Influência de cada fator
•Fator com maior influência
•Grau de interação entre os fatores
Mais Um Exemplo...
Trabalho desenvolvido na disciplina de Avaliação de Desempenho da pós graduação em Ciências de Computação e Matemática
Computacional
Avaliação de desempenho de políticas para o meta-escalonador
em um ambiente Grid
Maycon Leone M. Peixoto
Avaliação de Escalonamento em
Grades
Avaliação de Escalonamento em
Grades
• Escalonamento em Grid é um tema bem discutido atualmente.
– Algoritmos: RR, Workqueue...
• O Meta-Escalonador exerce as funções de:– Gerência das tarefas (submissão, pausa,
finalização.).– Gerência dos recursos.– Adoção de políticas de uso.
Avaliação de Escalonamento em
Grades
Objetivo
Determinar o comportamento das políticas utilizadas pelo Meta-Escalonador no ambiente
de simulação GridSim.
Avaliação de Escalonamento em
Grades• São considerados quatro fatores e dois
níveis para construção do planejamento de experimentos:– Número de usuários: 5 e 30– Políticas Externas: Round Robin e Counter
Load Balanced.– Número de Tarefas: 50 e 100– Número de Recursos: 2 e 4 (homogêneos)
Avaliação de Escalonamento em
GradesPolíticas Externas
• RR Round Robin
• CLB Counter Load Balanced
Avaliação de Escalonamento em
Grades• Variavéis de Resposta:
– Custo = Tempo de resposta x 3$.– Throughput.
• Algumas constantes adotadas no experimento, segundo a Tabela 1:
Avaliação de Escalonamento em
Grades
Taxa de Chegada: distribuição exponencial negativa com media 2
A carga de trabalho é composta por:
• Tamanho (MIPS): representa o total de computação desejado por aquele objeto
• tamanho do arquivo a ser transmitido sobre a rede (bytes)
• tamanho do arquivo de retorno com a resposta (bytes)
Avaliação de Escalonamento em
Grades
Avaliação de Escalonamento em
Grades
Avaliação de Escalonamento em
Grades
Projeto Fatorial 2k
• Utilizado para avaliar experimentos com k fatores com 2 níveis cada
• Análise similar ao 22
Para k = 3
)(2 22222223ABCBCACABCBA qqqqqqqSST
232 AqSSA 232 BqSSB
232 ABCqSSABC 232 ABqSSAB
232 CqSSC
........
Projeto Fatorial 2k
Problema com o Projeto Fatorial 2k
Para k = 2 – 4 experimentosPara k = 3 - 8 experimentosPara k = 4 – 16 experimentos........
Solução – Planejamento Fatorial Parcial - 2k -p
1. Muitos fatores devem ser avaliados
2. Sabe-se que existem fatores que não interagem
3. Deseja-se determinar quais fatores realmente influenciam no resultado
Planejamento Fatorial Parcial - 2k -p
k número total de fatores a serem considerados
p número inteiro - quantas dimensões serão desprezadas
Exemplo: 3 fatores
P=0 fatorial completo
8 experimentos
p=1 reduz os experimentos a metade
4 experimentos
planejamento simplesA
BC
Planejamento Fatorial Parcial - 2k -p
k número total de fatores a serem considerados
p número inteiro - quantas dimensões serão desprezadas
Exemplo: 7 fatores:
k=7 128 experimentos
p=4 8 experimentos Neste caso não é possível
avaliar as interações
k=7 128 experimentos
p=5 16 experimentosAlgumas interações podem ser avaliadas
Projeto Fatorial 22
1. A soma das entradas em cada coluna = 0
Experimento A B y
1 -1 -1 y1
2 1 -1 y2
3 -1 1 y3
4 1 1 y4
2. Soma dos quadrados em cada coluna = 4
3. Produto interno de cada duas colunas = 0
Planejamento Fatorial Parcial - 2k -p
Pode-se preparar a tabela para considerar qualquer combinação, desde que atendidas as condições
Exemplo (Jain) 24-1
Planejamento Fatorial Parcial - 2k -p
Pode-se preparar a tabela para considerar qualquer combinação, desde que atendidas as condições
Exemplo (Jain) 24-1
D
1,1,1
-1,1,1A
B
C-1,-1,-1
1,1,-11,-1,-1
1,-1,1
-1,1,-1
-1,-1,1
1,1,1
-1,1,1A
B
C
(A,B,C)
-1,-1,-1
1,1,-11,-1,-1
1,-1,1
-1,1,-1
-1,-1,1
D = 1 D = -1
X
X
X
X
X
XX
X
Coluna D
Influência do fator D + interação entre A, B e C
Planejamento Fatorial Parcial - 2k -p
Exemplo (Jain) 27 -4
Devo satisfazer as mesmas condições que 22
Modelo Similar:
Planejamento Fatorial Parcial - 2k -p
Exemplo (Jain) 27 -4
Planejamento Fatorial Parcial - 2k -p
Exemplo (Jain) 27 -4
37,26 4,74 43,40 6,75 0 8,06 0,03
Variação em porcentagem
Planejamento Fatorial Parcial - 2k -p
Pode-se preparar a tabela para considerar qualquer combinação, desde que atendidas as condições
Exemplo 19.2 (Jain)
Considere um sistema que possa ser utilizado para:
•Processamento de textos,
•Processamento de dados interativo,
•Processamento de dados em background
Fator Descrição nível -1 nível +1
A Preempção não sim
B Quantum p/ cd proc pequenogrande
C Filas (prioridade p/ quantum) uma fila duas filas
D Classes para as tarefas duas filas cinco filas
E Justiça (pref. p/ tarefa antiga) desligadoligado
Analisar cada caso independentemente
Planejamento Fatorial Parcial - 2k -p
Exemplo 19.2 (Jain)Throughput para proc
dados
Throughput para proc dados em
batch
Throughput para dados
interativos
Planeja-
mento
25-1
Planejamento Fatorial Parcial - 2k -p
Exemplo 19.2 (Jain)Throughput para proc
dados
Throughput para dados
interativos
Throughput para proc
dados em batch
Planejamento de Experimento• Planejamento de Experimentos designa toda uma área
de estudos da Estatística que desenvolve técnicas de planejamento e análise de experimentos.
• Existe um grande número de técnicas, com vários níveis de sofisticação e uma grande quantidade de ferramentas visando oferecer as condições necessárias para o planejamento de experimentos.
• Essas técnicas cobrem todas as possibilidades, diversos fatores, diferentes quantidades de níveis , tratamento de replicações, etc.
• Importância dentro de Avaliação de Desempenho – saber como utilizar as técnicas/ferramentas e saber analisar os resultados
Erros Comuns em Experimentos
• Uso de apenas um fator por vez – essa opção simplifica a experimentação mas não permite verificar interações
• Execução de muitos experimentos – em um primeiro passo poucos fatores/níveis devem ser considerados. Com as conclusões iniciais, pode-se considerar outros fatores/níveis
Conteúdo
1. Planejamento de Experimentos
– Motivação– Introdução à Avaliação de Desempenho– Etapas de um Experimento– Planejamento do Experimento
• Conceitos Básicos• Variáveis de Resposta• Carga de trabalho
• Modelos para Planejamento de Experimento
2. Análise de Resultados
3. Técnicas para Avaliação de Desempenho