3 Le principe général des analyses intermédiaires
4 Gestion des autres types de multiplicité lors des analyses intermédiaires
5 Autres objectifs possibles pour les analyses intermédiaires
6 Les analyses intermédiaires en pratique
6.1 Justification de la non-divulgation des résultats intermédiaires d’efficacité et/ou de sécurité en dehors du DSMB
La connaissance des résultats intermédiaires (véritables analyses intermédiaires ou résultats tabulés par groupe d’efficacité et/ou de sécurité) d’un essai par l’investigateur principal peut conduire à des modifications de l’étude qui vont favoriser l’obtention d’un résultat positif (et cela peut-être à tort) ou arrêter à tort un essai pour futilité. Ainsi l’essai ne sera plus un test loyal de l’hypothèse, où seule la réalité des données conditionnera la confirmation ou la réfutation de l’hypothèse thérapeutique. La connaissance des résultats intermédiaires au sens large par le steering committee , l’investigateur principal, ou les investigateurs remets ainsi en cause l’intégrité scientifique de l’étude et entraine une méconduite.
Encadré – FAME 2
L’essai FAME 2 évaluait la mesure de la réserve coronarienne pour guider la revascularisation coronarienne chez des patients ayant un angor stable [8] . L’abstract relate que l’essai a été interrompu prématurément :
Recruitment was halted prematurely after enrollment of 1220 patients (888 who underwent randomization and 332 enrolled in the registry) because of a significant between-group difference in the percentage of patients who had a primary end-point event:
Mais le protocole précise qu’aucune analyse intermédiaire n’était planifiée (page 26) :
La justification de l’arrêt prématuré de l’essai est l’existence d’une différence significative. Mais cette différence n’aurait jamais dû être connue de l’investigateur principal étant donné l’absence de méthode de prise en charge de la multiplicité engendrée par d’éventuelles analyses intermédiaires. Ainsi cette décision d’arrêt est entièrement drivée par les résultats et rien ne permet d’écarter une sacralisation en tant que résultat démontré d’une simple fluctuation aléatoire particulièrement favorable, mais ne reflétant pas la réalité de l’efficacité du traitement (cf. encadré marche aléatoire de résultats ci-dessous). Malgré cette limite cet essai est à l’origine de l’adoption de cette technique, bien qu’un autre essai, FUTURE, toujours non publié, a débouché sur un surcroit de mortalité à une analyse intermédiaire note n° 5 .
Les mauvaises pratiques à ce niveau vont invalider complètement la force de conviction des résultats obtenus et font courir le risque qu’en cas d’obtention d’un résultat positif, celui-ci ne puisse pas convaincre la communauté médicale et/ou les agences de régulation de changer les pratiques, car il y aura toujours un doute sur la fiabilité du résultat et donc sa réalité.
Plusieurs points sont à l’origine de cette problématique.
Tout d’abord des aspects statistiques. Les résultats que l’on peut être amenés à obtenir en cours d’étude sont sujets à une « marche aléatoire ». Ainsi, alors que l’essai sera négatif en ne montrant aucune différence en fin d’étude, il est tout à fait possible qu’une ou plusieurs différences apparaissent en cours d’étude. Ce point est pris en considération par les règles d’arrêts prématurés (O’Brien et Flemming par exemple).
Encadré - Marche aléatoire de résultats
Une autre façon de voir la problématique de la répétition des analyses à la recherche de l’effet du traitement passe par la représentation de la marche aléatoire des résultats en cours d’étude [9] . La figure ci-dessous obtenue avec l’essai Coronary Drug Project [10] représente l’évolution de la différence entre les 2 groupes au cours des mois de suivi de l’essai. La ligne horizontale d’ordonnée -2 représente la limite de la signification statistique nominale à p<0.05. À son terme (100° mois) l’essai a été négatif avec une absence de différence entre les 2 groupes. Mais rétrospectivement il apparait que par trois fois la différence entre les 2 groupes a été significative en faveur du traitement étudié. Si l’évolution de cette différence avait été scrutée en continu, par l’investigateur, de manière naïve sans méthode statistique, il aurait pu interrompre l’essai assez précocement qui aurait été positif en faveur du traitement.
Un autre exemple illustre cette marche aléatoire. L’analyse intermédiaire de l’efficacité du molupiravir dans le traitement oral de la Covid sur le critère combiné décès + hospitalisations chez 762 patients était de 7,3 % dans le groupe traité versus 14,1% dans le groupe placebo, soit une taille d’effet remarquable. L’analyse finale sur 1408 patients montrait un bénéfice, mais avec une taille d’effet bien moindre, 6,8 % dans le groupe traité versus 9,7 % dans le groupe placebo [11] .
Mais beaucoup d’études ne prévoient pas d’arrêter prématurément pour démonstration anticipée de l’efficacité (ce qui n’est absolument pas un problème). Cependant si l’investigateur principal (IP) (ou le steering committee ) prend connaissance des résultats de l’AI et perçoit que, si l’étude s’arrête là, l’étude serait concluante, cela peut conduire à ce qu’il recherche un moyen d’arrêter l’étude (même si cela n’était pas prévu). Par exemple si l’étude rencontre des difficultés de recrutement, l’IP peut prendre la décision de l’arrêter pour insuffisance de recrutement. L’éventuelle connaissance des résultats va influencer cette prise de décision :
À côté de cela, la connaissance par l’IP des résultats intermédiaires peut aussi lui permettre de favoriser indument l’obtention d’un résultat positif par son étude, par exemple, en changeant le critère de jugement principal, en excluant du recrutement de certains patient, d’augmenter le nombre de sujets nécessaire, de changer le schéma posologique, etc. Toutes ces modifications font, là aussi, que l’essai ne devient plus un test loyal de l’hypothèse thérapeutique et aura été modifié en cours d’étude pour faire passer comme probante une tendance aléatoire. En cas de divulgation des résultats des analyses intermédiaires il devient aussi impossible de modifier le protocole par amendement, car il sera impossible de justifier que ces modifications ne sont pas drivées par les résultats et qu’elles sont donc entièrement post-hoc. Cela bloque donc toute adaptation de l’étude à un changement de contexte ce qui peut être dommageable pour l’étude.
La connaissance des résultats intermédiaires et de leur tendance par les investigateurs effectuant le recrutement peut aussi être très néfaste pour l’étude. Si les investigateurs ont connaissance que la tendance des résultats favorise le nouveau produit, ils pourront avoir une certaine réticence à continuer d’inclure des patients dans le groupe contrôle, car ils penseront peut-être (à tort, car il n’y ‘a pas de preuve de cela et l’équipoise, clause d’ambivalence, reste valable) que ces patients ont une perte de chances. Cela conduit ces investigateurs à arrêter de recruter ou à provoquer de nombreuses sorties d’études. L’essai ne se terminera jamais et la preuve de l’intérêt du nouveau traitement ne pourra jamais être apportée.
Pour toutes ces raisons, il est donc indispensable que les résultats intermédiaires ne soient pas connus des décideurs de l’essai [12 , 13 , 14] . C’est pour cela que le principe de comité indépendant a été inventé, afin de permettre une étanchéité parfaite entre les personnes/structures qui ont connaissance des résultats intermédiaires et les structures/personnes qui conduisent l’étude :
Malheureusement pour les firmes introduites en bourses la législation financière les oblige à communiquer à leurs investisseurs toutes informations à leur disposition pouvant avoir un retentissement sur l’évolution des actions. Les résultats des analyses intermédiaires font partie de ces types d’informations et font donc l’objet de communiqué de presse. Mais si les résultats ne sont connus que du DSMB indépendant, l’information détenue par la firme et qu’elle doit rendre publique n’est que la recommandation laconique de poursuivre ou d’arrêter l’essai.
[5] Rioufol G. FUTURE trial: Treatment strategy in multivessel coronary disease patients based on fractional flow reserve. Presented at: ESC 2018. August 25, 2018. Munich, Germany
