1. Introduction

"Ce dont on ne peut parler doit �tre pass� sous silence."

Ludwig Wittgenstein (1889-1951), philosophe Autrichien

L'�valuation de performances (benchmarking) consiste � mesurer la vitesse � laquelle un ordinateur ex�cute une t�che calculatoire, et ce de fa�on � pouvoir comparer diff�rentes configurations logicielles/mat�rielles. Ceci n'a aucun rapport avec la facilit� d'utilisation, l'esth�tique, les consid�rations d'ergonomie ou toute autre appr�ciation subjective.

L'�valuation de performances est une t�che fastidieuse et r�p�titive. Elle n�c�ssite que l'on pr�te une grande attention aux d�tails. Tr�s souvent les r�sultats obtenus ne sont pas ceux auxquels on s'attendait et sont sujet � interpr�tation (ce qui peut tr�s bien �tre le but d'une proc�dure d'�valuation de performances).

Enfin, l'�valuation de performances tra�te de faits et de chiffres et non pas d'opinion ou d'approximation.

1.1 Pourquoi l'�valuation de performances est-elle si importante ?

Hormis les raisons mentionn�es dans le BogoMips Mini-HOWTO (section 7, paragraphe 2), il arrive, lorsque l'on se constitue une machine Linux, que l'on soit confront� � un budget limit� et/ou � des besoins en performances minimales garanties.

En d'autres termes, lorsque l'on se pose les questions suivantes :

• Comment maximiser la performance avec un budget donn� ?
• Comment minimiser le co�t n�c�ssaire pour obtenir un niveau de performance donn� ?
• Comment obtenir le meilleur rapport performance/co�t (�tant donn� un budget ou des besoins en performances minimales garanties) ?

il faudra examiner, comparer et/ou produire des benchmarks (ndt : un benchmark est un programme ou un ensemble de programmes - on parle alors de suite - servant � �valuer les performances d'un syst�me informatique).

Minimiser les co�ts sans contraintes de performance implique d'ordinaire la constitution d'une machine � partir de composants de r�cup�ration (ce vieux 386SX-16 qui tra�ne dans le garage sera parfait), et ne n�c�ssite pas de benchmarks. Maximiser la performance sans co�t plafond n'est pas une situation r�aliste (� moins que l'on souhaite mettre un Cray dans son salon - la banquette recouverte de cuir qui se trouve au dessus des alimentations �lectriques est du meilleur go�t, n'est-t-il pas ?).

L'�valuation de performances sans contrainte de co�t ni de performance minimale garantie n'a pas de sens: c'est une perte de temps et d'argent. L'�valuation de performances n'a de sens que dans le cadre d'une prise de d�cision, c'est � dire si l'on a le choix entre deux alternatives ou plus.

D'ordinaire des crit�res autres que le co�t interviennent dans le processus d�cisionnel. Il peut s'agir de la disponibilit�, du service, de la fiabilit�, de consid�rations strat�giques ou de toute autre caract�ristique rationnelle et mesurable d'un syst�me informatique. Par exemple, lorsque l'on compare la performance de diff�rentes versions du noyau Linux, la stabilit� est toujours plus importante que la vitesse d'ex�cution.

1.2 Non-crit�res en mati�re d'�valuation de performances

Malheureusement et tr�s souvent dans les newsgroups (forums) et les mailing lists (listes de diffusion par courrier �lectronique), sont cit�s :

1. La r�putation du fabriquant (non-mesurable et sans signification).
2. Les parts de march� du fabriquant (sans signification et non-pertinent).
3. Des param�tres irrationnels (superstition ou a-priori par exemple acheteriez-vous un processeur �tiquet� 131313ZAP et peint en rose ?).
4. La valeur per�ue (non-significative, non-mesurable et irrationnelle).
5. L'ampleur du tapage marketing (ndt : mercatique pour les int�gristes :) est ce qu'il y a de pire, je crois. Personnellement, j'en ai marre des logos "XXX inside" ou "kkkkkws compatible" (maintenant "aaaaaPowered" est de la partie, et puis quoi encore ?). AMHA, les milliards de dollards d�pens�s durant de telles campagnes seraient bien mieux utilis�s par de �quipes de recherche pour la conception de nouveaux processeurs, plus rapides (moins chers :-) et moins bugg�s. Aucune campagne publicitaire, si ambitieuse soit-elle, n'est en mesure de supprimer une bug de la FPU en calcul flottant sur le tout nouveau processeur que vous venez tout juste d'enficher sur votre carte-m�re, alors qu'un �change au profit d'un processeur re-con�u le fera.
6. Les opinions du type "Vous avez ce pour quoi vous avez pay�" ne sont pr�cis�ment que �a : des opinions. Donnez-moi des faits, s'il vous plait.

Hosting by: Hurra Communications GmbH
Generated: 2007-01-26 18:01:25