La règle
Ne sautez des tests que sur les pull requests. Relancez la suite complète sur la branche principale après chaque fusion. Un test raté sur une pull request coûte un aller-retour. Le même test raté sur la branche principale, découvert trois jours plus tard par quelqu’un d’autre, coûte beaucoup plus. C’est l’idée de l’étape de stabilisation décrite par Machalica et al. (Predictive Test Selection, ICSE-SEIP 2019, section II-B) : la sélection accélère la boucle de développement, la branche principale reste la source de vérité.Ce qui n’est jamais sauté
Deux choses, quoi que vous demandiez :- les tests que testhunch ne connaît pas. Sans historique, aucun score ne les concerne, alors ils tournent, et ils tournent en premier ;
- tout, quand l’historique est vide. Sur une base neuve,
selectne laisse rien de côté.
Continuer à mesurer pendant qu’on saute
Il y a un piège évident : dès que testhunch saute des tests, il ne voit plus ce qu’il a manqué. Les mesures s’arrêtent au moment précis où elles deviendraient intéressantes. D’où les learning runs.testhunch select tire au sort une part des builds, 25 % par défaut. Sur
un build tiré, il ne saute rien et enregistre le classement pour le mode fantôme. Sur les autres, il
saute et n’enregistre rien.
--learning-runs 0% les désactive. --learning-runs 100% fait de chaque build un learning run,
c’est-à-dire du mode fantôme.
L’ordre dans lequel s’y prendre
- Mesurez d’abord. Mode fantôme seul, rien de sauté, pendant assez de builds pour que l’historique dise quelque chose.
- Lisez le taux de tests manqués dans le résumé de
ingest, et décidez si le budget vous va. - Sautez ensuite, sur les pull requests uniquement, en gardant des learning runs.