L'essentiel à connaître
Un intervalle de confiance (IC) à 95 % donne la conclusion d'un test bilatéral (écart cherché dans les deux sens) au risque de 5 % : si la valeur « aucun effet » est hors de l'intervalle, tu rejettes $H_0$, l'hypothèse d'absence d'effet, et la p-value vérifie $p < 0{,}05$ ; si elle est dedans, tu ne rejettes pas $H_0$. Cette valeur vaut $0$ pour une différence, $1$ pour un rapport comme le risque relatif (RR, risque des exposés divisé par celui des non-exposés). Exemple : $RR = 0{,}80$, IC à 95 % $[0{,}65\,;\,0{,}98]$ : $1$ est exclu, la baisse du risque est significative.
Un IC à 95 % sort d'une méthode qui capture la vraie valeur pour 95 % des échantillons. Tu le calcules en ajoutant et en retirant à l'estimation $1{,}96$ erreur standard ($ES$), la mesure de ce que l'estimation bougerait d'un échantillon à l'autre. Dans un IC publié, $ES = \text{demi-largeur}/1{,}96$.
Formule : $IC_{95\,\%} = \text{estimation} \pm 1{,}96 \times ES$ (grands échantillons). Moyenne : $ES = \dfrac{s}{\sqrt{n}}$, avec $s$ l'écart type de l'échantillon. Proportion observée $f$ : $ES = \sqrt{\dfrac{f(1-f)}{n}}$. Différence de deux groupes indépendants : $ES = \sqrt{ES_1^2 + ES_2^2}$. À 99 %, $1{,}96$ devient $2{,}58$.
La largeur dit la précision : elle varie comme $1/\sqrt{n}$ et grandit avec le niveau de confiance. Les bornes disent quelle taille d'effet reste compatible avec les données ($RR = 1{,}25$ : 25 % de risque en plus), ce qu'une p-value ne mesure pas (American Statistical Association, 2016). Si l'IC à 95 % exclut la valeur « aucun effet » mais que l'IC à 99 % la contient, $0{,}01 < p < 0{,}05$.
Piège classique : deux IC qui se chevauchent ne prouvent pas que la différence est non significative : seul l'IC de la différence tranche. Et un IC qui contient la valeur « aucun effet » montre une absence de preuve, pas une preuve d'absence (Altman et Bland, BMJ, 1995).
Quiz : teste tes connaissances
Les études citées reposent sur des données fictives, et les trois dernières questions sont les plus piégeuses.
Question 1 : Deux traitements de l'hypertension : différence des pressions systoliques moyennes $-4{,}5$ mmHg, IC à 95 % $[-7\,;\,-2]$ mmHg. Au risque de 5 %, que conclus-tu ?
Réponse : C. Pour une différence, « aucun effet » vaut $0$, et $0$ est hors de l'intervalle : tu rejettes $H_0$, $p < 0{,}05$. Le piège D oublie que l'IC à 95 % suffit à situer $p$ par rapport à $0{,}05$.
Question 2 : Un nouveau pansement donne un risque relatif d'infection $RR = 0{,}85$, IC à 95 % $[0{,}70\,;\,1{,}03]$. Que conclus-tu au risque de 5 % ?
Réponse : A. Pour un rapport, « aucun effet » vaut $1$, et $1$ est dans l'intervalle : tu ne rejettes pas $H_0$. Le piège B applique à un rapport la valeur nulle d'une différence.
Question 3 : Sur 400 patients traités, 64 ont un effet indésirable. Quel est l'IC à 95 % de la proportion d'effets indésirables ?
Réponse : D. $f = 64/400 = 0{,}16$ et $ES = \sqrt{0{,}16 \times 0{,}84/400} \approx 0{,}0183$, d'où $0{,}16 \pm 1{,}96 \times 0{,}0183 = 0{,}16 \pm 0{,}036$. A oublie la racine, B le coefficient $1{,}96$, et C prend celui de 99 %.
Question 4 : Chez 100 adultes, la glycémie à jeun moyenne vaut $5{,}2$ mmol/L, avec un écart type $s = 1{,}0$ mmol/L. Quel est l'IC à 95 % de la moyenne ?
Réponse : B. $ES = 1{,}0/\sqrt{100} = 0{,}1$, d'où $5{,}2 \pm 1{,}96 \times 0{,}1 = 5{,}2 \pm 0{,}196$. Le piège A prend $s$ au lieu de $ES$ : il décrit la dispersion des individus, pas la précision de la moyenne.
Question 5 : Avec les mêmes données, tu passes d'un IC à 95 % à un IC à 99 %. Que devient l'intervalle ?
Réponse : D. Plus de confiance demande un filet plus large : la demi-largeur est multipliée par $2{,}58/1{,}96 \approx 1{,}32$. Le piège A confond confiance et précision, alors que gagner l'une coûte l'autre.
Question 6 : Avec 100 patients, ton IC de la moyenne mesure $0{,}4$ mmol/L de large. Combien de patients faut-il, à dispersion égale, pour une largeur de $0{,}2$ mmol/L ?
Réponse : A. La largeur varie comme $1/\sqrt{n}$ : la diviser par $2$ demande de multiplier $\sqrt{n}$ par $2$, donc $n$ par $4$. Le piège B la fait varier comme $1/n$ ; avec 200 patients, elle ne baisse que d'un facteur $\sqrt{2} \approx 1{,}41$.
Question 7 : Ouvriers exposés à un solvant contre non-exposés : risque relatif de maladie du foie $RR = 1{,}40$, IC à 95 % $[1{,}10\,;\,1{,}78]$. Quelle lecture est juste ?
Réponse : C. $RR = 1{,}10$ veut dire 10 % de risque en plus, $RR = 1{,}78$ veut dire 78 % en plus : l'intervalle donne la fourchette des effets compatibles avec les données. Le piège B lit le rapport comme un pourcentage.
Question 8 : Pour une différence de moyennes, l'IC à 95 % vaut $[0{,}3\,;\,3{,}7]$ et l'IC à 99 % vaut $[-0{,}2\,;\,4{,}2]$. Où se situe la p-value du test bilatéral ?
Réponse : B. L'IC à 95 % exclut $0$, donc $p < 0{,}05$ ; l'IC à 99 % contient $0$, donc le test au risque de 1 % ne rejette pas $H_0$ et $p > 0{,}01$. Le piège C ne regarde que l'intervalle à 99 %.
Question 9 : Essai sur 20 000 patients : différence de pression systolique de $-1{,}0$ mmHg contre placebo, IC à 95 % $[-1{,}5\,;\,-0{,}5]$ mmHg, $p < 0{,}001$. Quelle conclusion est juste ?
Réponse : A. $0$ est exclu, donc la différence est significative ; mais une p-value ne mesure pas la taille d'un effet (ASA, 2016), et avec 20 000 patients un petit écart devient significatif. Le piège B prend la petitesse de $p$ pour la force de l'effet.
Question 10 : Deux régimes sont comparés. Différence moyenne de poids perdu : $1{,}2$ kg, IC à 95 % $[0{,}2\,;\,2{,}2]$ kg. Au risque de 5 %, la différence est :
Réponse : D. Pour une différence, « aucun effet » vaut $0$, et $0$ est hors de l'intervalle. Le piège A applique la règle des rapports : ici, $1$ dans l'intervalle dit seulement qu'un écart de 1 kg reste compatible avec les données.
Question 11 : Deux groupes indépendants : récupération moyenne de 10 jours, IC à 95 % $[8\,;\,12]$, contre 13 jours, IC à 95 % $[11\,;\,15]$. Les intervalles se chevauchent. La différence de 3 jours est-elle significative au risque de 5 % ?
Réponse : B. Chaque $ES$ vaut $2/1{,}96 \approx 1{,}02$, donc $ES_{\text{diff}} = \sqrt{1{,}02^2 + 1{,}02^2} \approx 1{,}44$, et $3 \pm 1{,}96 \times 1{,}44 = 3 \pm 2{,}83$, soit $[0{,}17\,;\,5{,}83]$, qui exclut $0$. Le piège C additionne les deux demi-largeurs ($2 + 2 = 4$), alors que les erreurs standard s'ajoutent au carré.
Question 12 : Essai de 40 patients par groupe : 60 % de guérison sous traitement, 50 % sous placebo, soit 10 points d'écart, IC à 95 % $[-12\,;\,32]$ points. Que conclure ?
Réponse : C. $0$ est dans l'intervalle, donc la différence n'est pas significative, mais des gains importants y sont aussi : l'essai manque de patients pour conclure. Le piège A prend une absence de preuve pour une preuve d'absence (Altman et Bland, 1995).
Sources
- American Statistical Association, « Statement on Statistical Significance and P-Values », communiqué du 7 mars 2016 : amstat.org.
- D. G. Altman et J. M. Bland, « Absence of evidence is not evidence of absence », BMJ, 1995, vol. 311, p. 485 : PubMed Central.