git diff. Rien
d’autre. C’est pour ça qu’il n’est lié à aucun langage : il est testé sur de vrais rapports de
pytest, Vitest, Jest, Go (gotestsum), Java (Maven Surefire) et Rust (cargo-nextest).
Statut : pré-alpha. L’ingestion, le stockage, les rapports et un classement explicable
fonctionnent aujourd’hui, et un benchmark public les mesure. Un modèle appris a été mesuré contre
l’heuristique actuelle : il ne la bat pas, il n’est donc pas livré, et la comparaison est publiée.
Ce qu’il fait
ingestenregistre, après votre job de tests, le résultat de chaque test pour ce commit et les fichiers modifiés.reportmontre les tests instables (réussis et échoués sur le même commit), les plus lents et ceux en échec.prioritizeordonne les tests pour le changement en cours, et explique chaque place.shadowmesure ce que sauter des tests aurait manqué, avant qu’on saute quoi que ce soit.
Par où commencer
Démarrer
Installer, ingérer un premier rapport, obtenir un premier classement.
Comment le classement est calculé
Le score, ses raisons, et ce qu’il fait des tests qu’il ne connaît pas.
L'Action GitHub
Classer avant les tests, enregistrer après, lire le résumé dans le job.
Sauter des tests
Les budgets, les six lanceurs, et ce qui tourne toujours quoi qu’il arrive.
Sur les chiffres
testhunch n’avance pas de promesse de précision sans la mesure qui va avec. Les résultats sont publiés projet par projet, y compris là où testhunch s’en sort mal. Ils sortent de commandes du dépôt, ils ne sont pas écrits à la main :- Résultats du benchmark, 20 projets Java sur de l’historique Travis CI réel, plus quatre projets rejoués commit par commit ;
- L’étude du classement, comment cette version a été choisie et ce qu’elle vaut face à « les tests qui ont échoué le plus récemment d’abord » ;
- Les décisions d’architecture, pourquoi les choses sont faites ainsi, y compris ce qui a été écarté.