2.1 Pourquoi ne peut-on pas se contenter d’un mécanisme d’action bien établi ?
2.2 Pourquoi un résultat d’étude « positif » ne reflète-t-il pas toujours une efficacité réelle ? Les résultats faussement positifs.
2.2.1 Risque de biais et faux positifs : l’apport de la méthodologie
2.2.2 Le risque alpha et son contrôle
2.3 Raisonnement inductif ou raisonnement déductif , « HARKing »
2.3.2 Fragilité des explications a posteriori
2.4 L’erreur de raisonnement par « Post hoc ergo propter hoc »
2.5 Raisonnement contrefactuel , groupe contrôle
2.6 Le jugement « clinique » peut-il dispenser d’une validation statistique des résultats ?
Un essai clinique contrôlé peut produire un résultat en faveur de l’intérêt du nouveau traitement alors que ce dernier n’apporte aucun bénéfice en réalité, et cela en raison d’un biais ou de l’erreur statistique alpha (ou d’une découverte fortuite). On parle alors de résultat faussement positif (faux positif) dans le sens où l’essai est « positif » (il a apparemment atteint son objectif, montrer que le traitement à un intérêt) mais à tort. Le résultat est donc faux par rapport à la réalité.
Les conséquences de ces résultats faussement positifs sont très dommageables car ils conduisent à l’enregistrement et à l’utilisation de traitements sans intérêt (ou qui ne sont pas supérieurs au traitement standard en cas de comparaison à ce dernier). S’assurer de sa fiabilité est un aspect essentiel de l’intégrité scientifique.
Comme il est impossible de savoir si un résultat est faussement positif (car on ne connait pas la réalité de l’effet du traitement), le seul moyen d’éviter l’utilisation indue d’un traitement à la suite d’un résultat d’essai faussement positif est d’empêcher leurs survenues. C’est le but de la méthodologie et de l’analyse statistique :
Le vintafolide a été développé dans le cancer de l’ovaire. Une première étude [50] randomisée, multicentrique, en ouvert, comparant vintafolide plus doxorubicine à la doxorubicine seule s’avère « positive » en montrant une amélioration de la PFS (Progression-Free Survival, survie sans progression du cancer). Devant l’absence de traitement efficace dans cette situation, il aurait été tentant d’utiliser ce nouveau traitement sur la base de ce résultat d’essai randomisé. Cependant, il fallait attendre les résultats de la phase 3 PROCEED dont le design était très comparable à l’étude précédente : randomisé, multicentrique, mais en double aveugle, comparant vintafolide plus doxorubicine à la doxorubicine seule + placebo. Cette phase 3 a été arrêtée prématurément lors d’une analyse intermédiaire pour futilité. Le produit a ensuite été abandonné, s’avérant être sans utilité dans cette situation. Rétrospectivement il se trouve donc que le résultat de la première étude était faussement positif, faux positif qu’il est notamment possible d’imputer à l’absence d’aveugle (étude en ouvert) alors que la phase 3 était protégée contre les biais grâce à l’utilisation du double aveugle (placebo). Cet exemple illustre bien l’importance de l’utilisation d’une méthodologie rigoureuse pour éviter la survenue des résultats faussement positifs.
Il apparait dans cet exemple que l’étude de phase 2 avait donné un résultat clairement « positif » avec un traitement qui n’apporte pas de bénéfice en réalité ; illustrant ainsi qu’une étude peut donner un résultat faussement positif .
Cette observation n’est pas unique. Dans une étude méta-épidémiologique [25] il apparait qu’environ la moitié des produits échouent en phase 3 (pour manque d’efficacité ou pour effet indésirable). Or, avant d’entrer en phase 3, tous ces produits avaient naturellement obtenu des résultats positifs en phase 2, ce qui souligne le caractère indispensable de l’essai confirmatoire de phase 3 dans le développement du médicament (cf. section 4.3).
Ce point est fondamental et encore insuffisamment perçu. En effet, rien ne garantit, par principe, que les résultats des études soient le reflet exact de la réalité. Les études peuvent produire des résultats faux . Il convient donc d’être d’abord suspicieux devant un résultat positif en faveur de l’intérêt du traitement et de ne l’accepter qu’après s’être assuré de sa fiabilité. C’est fondamentalement la finalité de la lecture critique : détecter les résultats faussement positifs pour éviter de prendre des décisions d’utilisation de nouveaux traitements inappropriés.
En raison des biais et des erreurs aléatoires, un essai peut produire des résultats divergents par rapport au réel effet du traitement
Mais comment détecter ces résultats faussement positifs ? « Ce n’est pas écrit dessus ! ». Rien ne distingue, a priori, un résultat faux positif d’un résultat positif à raison. Comment séparer alors le bon grain de l’ivraie ?
