Acte 1 : le mécanisme, sur un dépôt jetable
Deux minutes. Un dépôt neuf, deux builds, et un classement qui change.testhunch report montre au passage les tests instables, les plus lents et ceux en échec, ce qui
intéresse souvent plus l’auditoire que le classement lui-même.
Acte 2 : les chiffres, qui eux prouvent quelque chose
Deux minutes, sans rien lancer : ouvrez les mesures. Ce qui porte, et qui se lit directement sur cette page :- Des projets Java réels, rejoués build par build sur l’historique de leur CI. Le tableau des budgets donne, pour chaque part du temps de test, la part des builds cassés qui restent rouges.
- Chaque build n’est classé qu’à partir des builds terminés avant lui, avec le vrai code
d’ingestion et de classement. Aucun chiffre n’est écrit à la main : ils sont tous engendrés par
les commandes du dossier
benchmarks. - Les projets mis de côté ne sont regardés qu’une fois, et chaque regard est inscrit dans un registre que le code écrit lui-même avant de commencer. Compter ses lignes est la vérification.
Acte 3 : le service, en train de tourner
Une minute. L’API hébergée répond pour de vrai :Ce qu’il ne faut pas faire
- Ne promettez pas un gain de temps sur le dépôt de la personne. Il dépend entièrement de la forme de sa suite. Proposez plutôt le mode fantôme, qui mesure sans rien sauter.
- Ne montrez pas le gain de temps de notre propre CI comme une réussite du classement. Il vient d’un seul test qui pèse l’essentiel du temps de la suite, et le diviseur de durée le met dehors ; n’importe qui aurait le même résultat en le lançant à part. La page le dit avec le chiffre.
- Ne lancez pas le benchmark en direct. Il demande 2,5 Go de données et des heures.