testhunch select prend le classement et en sort une liste de tests à laisser de côté, au format
que votre lanceur comprend. Tout le reste tourne.
Un budget est une part de temps
--budget 25% veut dire un quart du temps de test attendu sur les tests connus, pas un quart des
tests. Le gain que testhunch cherche est du temps, alors c’est en temps qu’il se dépense.
La coupe utilise les durées que le classement connaissait avant l’exécution, jamais celles de
l’exécution en cours. Couper avec les durées d’après reviendrait à annoncer un budget que personne
n’aurait pu dépenser.
Si votre lanceur ne rapporte pas de durée exploitable, passez --budget-unit tests et le budget
redevient un nombre de tests. go test est le cas typique : il écrit les durées au centième de
seconde, et presque toutes valent zéro.
Un budget ne gouverne que les tests connus. Ceux que testhunch n’a jamais vus tournent en plus,
et en premier. Une exécution dépense donc souvent davantage que son budget nominal, parfois beaucoup
plus si la suite contient beaucoup de tests neufs ou lents.
La règle qui décide
Un test n’est écarté que si le filtre du lanceur peut viser ce test et lui seul. Quand le lanceur ne sait pas l’exprimer, le test tourne. Cette règle a l’air prudente sur le papier ; en pratique c’est elle qui produit toutes les différences entre les pages qui suivent. Deux tests portant le même nom dans deux fichiers, un test paramétré, un sous-test ajouté dans un fichier modifié : à chaque fois, si le filtre risque d’emporter autre chose que la cible, testhunch renonce à écarter. Chaque format est vérifié en lançant le vrai lanceur et en relisant son rapport JUnit, pas en lisant sa documentation.Les lanceurs
pytest
Go
Surefire
cargo-nextest
Vitest
Jest
Ce qui tourne toujours
Quel que soit le lanceur et quel que soit le budget :- les tests que testhunch ne connaît pas ;
- les tests renommés, qui sont des tests inconnus ;
- tout, quand l’historique est vide ;
- tout, sur un learning run.