La récence, comptée en builds
Un test qui vient d’échouer compte beaucoup plus qu’un test tombé il y a dix builds. testhunch reprend la formule du jeu de données RTPTorrent : à chaque build sans échec, la priorité est divisée par cinq. L’échec le plus récent pèse donc plus lourd que tous les précédents réunis. Le comptage se fait en builds, pas en exécutions. Un projet dont chaque build lance quarante jobs ne verrait sinon que ses quarante derniers jobs, c’est-à-dire un seul build d’historique. Tous les jobs d’un même commit ne pèsent qu’une fois.Le fichier du test
Si le changement touche le fichier où le test est écrit, son score gagne un bonus fixe. C’est le seul signal de proximité que l’étude a retenu, et de justesse. Les autres, la ressemblance des chemins ou des noms, ont été essayés et rejetés parce qu’ils dégradaient la mesure.Divisé par la durée
À risque égal, un test rapide passe devant un test lent. C’est ce qui fait que le gain se mesure en temps et pas seulement en nombre de tests, et c’est le signal qui a le plus apporté de toute l’étude. Les écarts, projet par projet, sont dans l’étape 1. Un test dont la durée est inconnue reçoit la médiane des autres. Il n’est donc ni enterré ni poussé devant, faute d’information.Les raisons
Chaque test classé arrive avec les raisons de sa place, en clair :failed in the latest build, ou last failed 3 build(s) ago), si son fichier a été modifié (its file changed), et
ce qu’il coûte (takes about 12 ms, ou duration unknown).
Un classement qu’on ne peut pas interroger est un classement qu’on ne peut pas contredire. Si une
place vous paraît fausse, les raisons vous disent d’où elle vient.