View
36
Download
0
Category
Preview:
Citation preview
Benchmarks informatiques
1AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnémoi -
Raffalli
Introduction
• Benchmark :
– Plusieurs définitions
• Définition globale
• Définition informatique
• Objectifs
– Analyser les performances
– Minimiser les coûts
2El Bouhy - Lecavelier - Mnémoi -
Raffalli
AL - SI5 - 2012/2013
Cadre du sujet
• Du benchmarking au benchmark :
– Planification : choix des critères
– Analyse : identification des niveaux de
performances
– Intégration / Action
• Utilité des benchmarks
• Différents types
3El Bouhy - Lecavelier - Mnémoi -
Raffalli
AL - SI5 - 2012/2013
Les benchmarks systèmes
• Objectif : mesurer performances d’un
système
– Système d’exploitation
– SGBD
• Simule le comportement de l’utilisateur
– Benchmarks applicatifs
4El Bouhy - Lecavelier - Mnémoi -
Raffalli
AL - SI5 - 2012/2013
Les benchmarks systèmes
• Aspect technique
– Comparaison architecture différentes
– Exploration de nouveaux designs
• Aspect économique
– Rapport prix/performance
AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnémoi -
Raffalli
5
Les benchmarks systèmes
• Standard benchmark TPC
– Benchmark pour systèmes transactionnels
– Né d’un conflit
– Début de TPC – A/B
• TPC-C
– Simulation système SGBD (gestion des
stocks)
AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnémoi -
Raffalli
6
Les benchmarks composants
• Testent un seul composant
• Réalisent plusieurs tests
• Résultat clair
7El Bouhy - Lecavelier - Mnémoi -
Raffalli
AL - SI5 - 2012/2013
Les benchmarks composants
• Pour l’architecte :
– Comparer les composants
– Réaliser son système
– Connaître leur points forts et faibles
• Impact économique
8El Bouhy - Lecavelier - Mnémoi -
Raffalli
AL - SI5 - 2012/2013
Les benchmarks composants
• SPEC (Standard Performance Evaluation Corporation) :
– Organisme de standardisation
– IBM, HP, Oracle…
• SPEC CPU 2006 :
– Benchmark sur les processeurs
– 800$
9El Bouhy - Lecavelier - Mnémoi -
Raffalli
AL - SI5 - 2012/2013
Les benchmarks composants
• CoreMark (OpenSource) :
– Benchmark sur les processeurs
• Très utilisé dans le monde de l’embarqué
• « Très simple »
• « Indépendant de la plate-forme »
10El Bouhy - Lecavelier - Mnémoi -
Raffalli
AL - SI5 - 2012/2013
Vérification & Validation
11AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnémoi -
Raffalli
Vérification & Validation
Vérification : Le processus qui détermine si
la mise en œuvre d'un modèle représente
exactement la description conceptuelle du
développeur pour le modèle et la solution de
ce modèle.
12AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnémoi -
Raffalli
Vérification & Validation
Validation: Le processus qui détermine si
un modèle donné est une représentation
précise du monde réel du point de vue des
utilisations prévues de ce modèle.
13AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnémoi -
Raffalli
Vérification & Validation
« La vérification travaille avec les
mathématiques ; la validation avec la
physique »
14AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnémoi -
Raffalli
Exemples des Benchmark V&V
15AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnémoi -
Raffalli
Benchmarks Comparatifs
• Evalue les performances matérielles ou
logicielles et établit une comparaison avec
les autres.
16
Sum of FPS
Benchmarks
1920x1200 (HQ)
with anti aliasing El Bouhy - Lecavelier - Mnémoi -
Raffalli
Benchmarks Comparatifs
Des benchmarks pour qui ? :
• Les éditeurs de logiciels et les constructeurs de
matériel
• Les développeurs
• Les consommateurs
17AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnémoi -
Raffalli
Benchmarks Comparatifs
Des benchmarks pour qui ? :
• Les éditeurs de logiciels et les constructeurs de
matériel
– Met en valeur le produit par rapport aux autres
– Apporte une image de marque
18AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnémoi -
Raffalli
Benchmarks Comparatifs
Des benchmarks pour qui ? :
• Les éditeurs de logiciels et les constructeurs de
matériel
• Les développeurs
• Les consommateurs
19AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnémoi -
Raffalli
Benchmarks Comparatifs
Des benchmarks pour qui ? :
• Les développeurs
– Permet d’avoir un indice de performance pour
savoir comment évoluer
20AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnémoi -
Raffalli
Benchmarks Comparatifs
Des benchmarks pour qui ? :
• Les éditeurs de logiciels
• Les développeurs
• Les consommateurs
21AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnémoi -
Raffalli
Benchmarks Comparatifs
Des benchmarks pour qui ? :
• Les consommateurs
– Donne un indice de qualité du produit
– Permet d’orienter ses choix
22AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnémoi -
Raffalli
Synthèse
• Avantages :– Benchmarks composants : permettent d’identifier
rapidement les meilleurs composants et leurs limites
– Benchmarks validation et vérification : améliorent la
crédibilité des simulations
– Général : offre des indices de performances en
fonctions de facteurs précis, définis par le
développeur du benchmark.
23AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnémoi -
Raffalli
Synthèse
• Inconvénients :– Benchmarks composants : tests réalisés sur un
système entier, résultat dépendant de la plate-forme
– Benchmarks systèmes : très couteux, lourds, pas
adaptés pour les besoins futurs du système.
– Benchmarks Vérification et validation : terminologie
non uniforme dans toutes les discipline d’ingénieurie
24AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnémoi -
Raffalli
Synthèse
• Réponse à la problématique :
– Benchmark utile pendant la phase de
conception
– Permet de contrôler le résultat en phase
d’exploitation
– Offre plus de précision à l’architecte dans ses
tests de performance.
25AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnémoi -
Raffalli
Synthèse
• Open Source VS Standard (TPC, SPEC) :
– Open source : accessible et développés par
tous.
– Standard : Plus répandus, rassembles les
constructeurs et acteurs les plus connus.
26AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnémoi -
Raffalli
Conclusion
• Eléments très importants
• Classés dans des familles
• Utilisés dans beaucoup de domaines
• Très variables
• Très évolutifs
27AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnémoi -
Raffalli
Références
• http://fr.wikipedia.org/wiki/Benchmark
• http://en.wikipedia.org/wiki/Benchmark_%28computing%29#Types_of_benchmarks
• http://www.investopedia.com/terms/b/benchmark.asp#axzz2Ay4ltgCS
• http://www.cs.umd.edu/~meesh/cmsc411/website/projects/morebenchmarks/types.html
• http://www.bea.gov/industry/io_benchmark.htm
• http://www.cs.umd.edu/class/fall2001/cmsc411/projects/morebenchmarks/types.html
• http://www.realworldtech.com/meaningful-benchmarks/
• http://www.techradar.com/news/computing/pc/how-to-benchmark-your-pc-954580
• http://www.spec.org/spec/
• http://mrob.com/pub/comp/benchmarks/spec.html#CPU_06
• http://www.coremark.org/faq/index.php?pg=faq
• http://ideasint.blogs.com/ideasinsights/2011/12/ideas-joins-spec.html
• http://laptoport.com/2011/11/12/nvidia-kal-el-tegra-3-and-its-companion-core-on-transformer-
prime/
• http://www.storageperformance.org/results
• http://www.anandtech.com/show/4503/sandy-bridge-memory-scaling-choosing-the-best-ddr3/3
• https://www.agi.com/products/stk/Default.aspx
http://www.osti.gov/bridge• http://www.nec-labs.com/research/system/systems_SAV-website/benchmarks.php• http://www.dantecdynamics.com/Default.aspx?ID=469
• http://www.oecd-nea.org/dbprog/benchmarks.htm
28AL - SI5 - 2012/2013 El Bouhy - Lecavelier - Mnémoi -
Raffalli
Avez-Vous des questions ?
AL - SI5 - 2012/2013 29
Recommended