Quand LaProba annonce 70 %, l'événement se produit-il vraiment environ 70 % du temps ?
C'est la seule question qui compte pour juger des probabilités : un bon modèle n'a pas « raison » à chaque match, il est calibré. Voici la réponse, mesurée sur des matchs que nos modèles n'avaient jamais vus.
Chaque point compare la probabilité annoncée (horizontal) à la fréquence réellement observée (vertical). Sur la diagonale, la probabilité est parfaitement juste. Tests rétrospectifs : chaque saison est prédite par un modèle entraîné uniquement sur les saisons précédentes.
Depuis l'ouverture du site, toutes nos prédictions sont enregistrées avant le match, réussies ou non, et ne peuvent plus être modifiées :
chaque ligne est liée à la précédente par une empreinte cryptographique (vérification publique : /verify).
Un même match peut recevoir plusieurs prédictions avant le coup d'envoi : quand le modèle est mis à jour, puis quand les compositions officielles sont connues. Seule la dernière prédiction publiée avant le match compte dans le bilan. Les versions précédentes restent dans le registre, marquées « remplacée », et ne sont jamais effacées.
| … |
Sur exactement les mêmes matchs, nous comparons la log-loss de LaProba à celle du marché : la moyenne des bookmakers, marge retirée, au dernier relevé avant le coup d'envoi. Plus la log-loss est basse, meilleures sont les probabilités. L'écart est donné avec son intervalle de confiance à 95 % : tant que cet intervalle contient zéro, aucune conclusion n'est possible.
* Écart = log-loss du marché moins log-loss de LaProba : positif, LaProba fait mieux ; négatif, le marché fait mieux.
| … |
Quand le modèle annonce 70 %, ça doit arriver 70 fois sur 100.
| … |
Chaîne d'empreintes intacte sur 1895 prédictions (vérification publique : /verify).
| … |