2.2.1 Risque de biais et faux positifs : l’apport de la méthodologie

Historiquement, cette possibilité de faux positif a été identifiée très tôt dans l’évaluation des traitements. Deux phénomènes peuvent contribuer à rendre positifs les résultats d’une étude alors que le traitement n’a pas d’efficacité : les biais et les erreurs aléatoires (erreur et risque alpha). Comme il est impossible de distinguer les faux positifs des vrais positifs, des moyens ont été inventés pour éviter les biais et limiter les erreurs aléatoires. Ces moyens sont les principes méthodologiques et le contrôle du risque alpha par l’inférence statistique (les tests statistiques).

Le but de la méthodologie est d’éviter qu’une étude puisse donner un résultat faux

Si ces principes sont mis en œuvre correctement. L’étude sera à l’abri des biais affectant les résultats note n° 11 . Si l’étude obtient un résultat positif celui-ci est donc le reflet de la réalité, sous réserve que l’erreur aléatoire ait aussi été contrôlée.

Pour écarter la possibilité qu’un résultat positif, en faveur de l’effet du traitement, soit faussement positif, il convient d’analyser la méthodologie et de valider qu’elle était bien en mesure d’éviter les biais. Si c’est le cas, le résultat est fiable, ne reste plus alors que la question du risque d’erreur statistique. C’est le but de la lecture critique d’éviter d’accepter un résultat faux.

Dans le cas du vintafolide, l’étude de phase 2, bien que contrôlée et randomisée, n’était pas en double insu, contrairement à la phase 3. Elle n’était donc pas à l’abri d’un biais de mesure ou de réalisation. Comme le critère PFS est une mesure subjective, un biais de mesure peut tout à fait expliquer la « positivité » observée. Des données montrent que lorsque, dans le même essai, le critère PFS est mesuré par les investigateurs eux-mêmes ou par un comité de validation centralisé et indépendant, des différences jusqu’à 10% peuvent apparaitre entre les 2 mesures, comme dans le groupe placebo de l’exemple suivant (N Engl J Med 2011;364:514-23, 10.1056/NEJMoa1009290) :

Cette incertitude découle des difficultés d’interprétation des examens équivoques. Une incertitude de l’ordre de 10% sur la mesure du critère PFS est bien supérieure à la plupart des effets traitements observés et peut donc expliquer la totalité de la différence obtenue dans un essai en ouvert, si cette incertitude est influencée par la connaissance du traitement reçu par les patients. Il est facile d’imaginer qu’un investigateur aura une certaine réticence à déclarer comme ayant progressé un patient qui reçoit le nouveau traitement prometteur, car cela oblige à l’arrêt du traitement. Pour un patient du groupe contrôle cette décision à moins de conséquences et est donc plus simple à prendre. De plus, elle donne peut-être la possibilité de passer à un traitement de ligne n+1 dont l’efficacité est connue. Un essai en double insu garantit que l’incertitude de mesure sera identique dans les 2 groupes (il y aura toujours une erreur de mesure, mais qui ne sera pas systématiquement différente entre les 2 groupes et ne pourra donc pas causer de différence entre les 2 groupes).

[11] Il s’y ajoute les biais survenant dans l’environnement du résultat : biais de publication, biais cognitifs, etc…