Limites : ce que ces chiffres montrent, et ce qu'ils ne montrent pas

Chiffres au 14 novembre 2026. English version.

Un échantillon encore petit

29 questions sont résolues (16 Oui, 13 Non ; 28 indépendantes après regroupement des questions qui reposent sur le même événement). Le score de Brier d'ensemble est de 0,172, contre 0,250 pour la référence « 50 % partout ». Avec 29 résolutions, l'incertitude reste grande : un seul écart important déplace ce chiffre de plusieurs centièmes. Ce n'est pas une preuve de compétence.

Où le score est solide, où il l'est moins

• Sur 6 questions où un taux de base a pu être calculé (par exemple le registre de la FDA ou les contrats à terme de la Fed), le Brier est de 0,038 contre 0,056 pour ce taux seul (gain relatif de 0,32). 6 cas ne permettent aucune conclusion.
• Sur 23 questions où le taux de base n'est qu'estimé, le Brier est de 0,209 contre 0,250 pour la référence naïve, sans calcul de gain relatif.
• Par domaine : Finance, 24 questions sur 29 (Brier 0,196). Trop peu de questions pour être interprétés : Médecine (4 questions, 0,065), IA et technologie (1 question, 0,048).
• Hors médecine : 25 questions (24 indépendantes), Brier 0,190.

Ce que nous ne faisons pas

• Aucune estimation publiée n'est recalculée après coup.
• Les estimations ne se corrigent pas toutes seules : les modèles n'apprennent pas de leurs résultats passés. Tout changement de méthode est décidé à la main, daté et publié.
• Nous ne revendiquons aucun gain statistiquement établi tant que 30 résolutions indépendantes ne sont pas atteintes, avec un intervalle de confiance qui exclut zéro.

Autres limites

Les modèles d'IA peuvent se tromper. Une partie des verdicts est vérifiée à la main. Certaines questions voisines partagent le même événement. L'historique est court.