10 Absence de différence dans un essai de différence (supériorité)

     

Lorsque dans un essai de supériorité celle-ci n’est pas mise en évidence de façon significative, il peut être tentant de conclure à l’équivalence. Cette conclusion n’est pas possible, car elle pose plusieurs problèmes.

La puissance est peut-être insuffisante. L’absence de différence significative ne signifie pas qu’il y a absence de différence, mais peut-être, simplement, que l’essai était insuffisamment puissant pour mettre en évidence la réelle différence qui existe entre deux traitements : « l’absence de preuve n’est pas la preuve de l’absence ».

Conclure à l’équivalence après avoir bâti l’essai pour tester une hypothèse de différence revient à changer d’hypothèse. Le principe de la méthode expérimentale, l’approche « hypothesis testing » de Fisher n’est pas respecté. L’essai ne peut pas être considéré comme démontrant l’hypothèse d’équivalence étant donné qu’il n’avait pas été conçu pour cela (mais pour démontrer l’hypothèse inverse). Dans cette situation, conclure à la démonstration de l’équivalence est une démarche tautologique. Les données servant à la démonstration sont celles qui ont fait générer l’hypothèse. De plus, se pose des problèmes de qualité méthodologique de l’essai (les contraintes de l’essai d’équivalence sont différentes de celles de l’essai de supériorité) et de fixation post-hoc de la limite d’équivalence.

Dans un essai incluant 1000 patients par groupe, on observe 30 événements critères de jugement dans chaque groupe. Malgré la stricte identité de ces nombres d’événements, ce résultat est loin de permettre de conclure à l’équivalence d’efficacité. Le risque relatif est bien de 1, mais avec un intervalle de confiance à 95% entre 0,61 et 1,65. Ce qui signifie que ce résultat est compatible avec, en réalité, une augmentation de la fréquence du critère de jugement par le nouveau traitement de 65%. Du fait de cette incertitude statistique, il est donc impossible de conclure à l’équivalence des 2 traitements. En fait, il est toujours impossible de conclure à la stricte équivalence entre 2 traitements, car cela nécessiterait un intervalle de confiance de largeur nulle, ce qui est impossible, car nécessitant une infinité de patients.