Skip to main content
testhunch lit les rapports JUnit XML que votre lanceur produit déjà, plus git diff. Rien d’autre. C’est pour ça qu’il n’est lié à aucun langage : il est testé sur de vrais rapports de pytest, Vitest, Jest, Go (gotestsum), Java (Maven Surefire) et Rust (cargo-nextest).
Statut : pré-alpha. L’ingestion, le stockage, les rapports et un classement explicable fonctionnent aujourd’hui, et un benchmark public les mesure. Un modèle appris a été mesuré contre l’heuristique actuelle : il ne la bat pas, il n’est donc pas livré, et la comparaison est publiée.

Ce qu’il fait

  1. ingest enregistre, après votre job de tests, le résultat de chaque test pour ce commit et les fichiers modifiés.
  2. report montre les tests instables (réussis et échoués sur le même commit), les plus lents et ceux en échec.
  3. prioritize ordonne les tests pour le changement en cours, et explique chaque place.
  4. shadow mesure ce que sauter des tests aurait manqué, avant qu’on saute quoi que ce soit.

Par où commencer

Démarrer

Installer, ingérer un premier rapport, obtenir un premier classement.

Comment le classement est calculé

Le score, ses raisons, et ce qu’il fait des tests qu’il ne connaît pas.

L'Action GitHub

Classer avant les tests, enregistrer après, lire le résumé dans le job.

Sauter des tests

Les budgets, les six lanceurs, et ce qui tourne toujours quoi qu’il arrive.

Sur les chiffres

testhunch n’avance pas de promesse de précision sans la mesure qui va avec. Les résultats sont publiés projet par projet, y compris là où testhunch s’en sort mal. Ils sortent de commandes du dépôt, ils ne sont pas écrits à la main :
  • Résultats du benchmark, 20 projets Java sur de l’historique Travis CI réel, plus quatre projets rejoués commit par commit ;
  • L’étude du classement, comment cette version a été choisie et ce qu’elle vaut face à « les tests qui ont échoué le plus récemment d’abord » ;
  • Les décisions d’architecture, pourquoi les choses sont faites ainsi, y compris ce qui a été écarté.
Ce site ne recopie aucun de ces chiffres, il y renvoie. Un nombre mesuré vit dans un seul fichier, celui qu’écrit la commande qui l’a calculé (ADR 0019).