3. Distorsion de la connaissance scientifique
4.1 La méthodologie conditionne le niveau de preuve
4.2 Les risques d’un accès sans preuve
4.3 Une étude préliminaire (de phase 2 ) peut-elle produire une preuve suffisante ?
4.6 Une présomption de bénéfice est insuffisante
4.7 Schéma décisionnel à partir des essais méthodologiquement solides
Des études de phase 2 note n° 35 de bonne facture méthodologique (contrôlées, randomisées, en ouvert ou en double aveugle) sont parfois mises en avant pour justifier de l’intérêt clinique du traitement. Nonobstant la rigueur de la méthodologie, ce type de résultats ne permet pas de valider l’adoption du nouveau médicament pour de nombreuses raisons.
L’essai CABOSUN [174] du cabozantinib dans le carcinome rénal métastatique à haut risque ou risque intermédiaire est une étude de phase 2 qui a été finalement utilisée pour justifier l’utilisation de cette molécule dans cette condition clinique note n° 36 . L’essai était randomisé, en ouvert versus sunitinib, incluant 157 patients suivis 21.4 mois (médiane). L’essai n’ayant pas été conçu comme un essai pivot de confirmation, le risque alpha consenti était de 12% unilatéral (24% bilatéral). L’analyse présentée dans la publication utilise des règles de censure simples non conformes avec les recommandations réglementaires.
Comme à l’origine ces études, préparatoires à la phase 3, ne sont pas destinées à apporter la preuve formelle de l’intérêt du traitement, le risque alpha fixé au protocole est souvent supérieur à 5% bilatéral (classiquement 20%). En effet, les faux positifs dus au hasard dans ces études préliminaires n’exposent qu’au risque de réaliser et financer à tort l’étude de phase 3. Et dans ce contexte un tel risque est donc parfois consenti par les industriels pour la décision de go/no go vers la phase 3. En revanche, il est évident qu’un tel niveau de risque est inacceptable dans un contexte de recommandation et d’utilisation d’un nouveau médicament.
Baser la décision sur une phase 2 à la place d’une phase 3 pivot signifie que cette décision est prise sur la base d’une seule étude concluante à la place de deux (ou plus, par exemple dans les domaines où deux phases 3 sont exigées). Il y a donc un manque de vérification qui n’est pas superflu, car d’un point de vue méta-épidémiologique il s’avère qu’une étude de phase 3 sur deux est un échec [25] . Accepter un produit à partir d’une simple étude de phase 2 constitue donc une prise de risque importante.
Ce faible taux de confirmation des résultats de phase 2 par les phases 3 peut s’expliquer par de nombreux facteurs : limites de critères utilisés en phase 2, risque alpha, un risque de biais souvent important avec des études non randomisées ou en ouvert, analysées en per protocole, etc.
Les études de phase 2 ne peuvent pas non plus être considérées comme des preuves au-delà de tout doute raisonnable pour des raisons d’assurance qualité. N’ayant pas comme finalité d’apporter ce type de preuve, ces études sont réalisées avec des standards d’assurance qualité souvent plus légers que celui des études de phase 3 en termes de monitorage, de contrôles des données, etc. Au final, même si les données recueillies sont de qualité, il n’est pas possible de le garantir.
Le nombre de patients et la durée de suivi sont généralement faibles, si bien qu’à l’issue de l’étude de phase 2, l’appréciation de la sécurité reste très limitée, ainsi que celle de l’évolution de l’efficacité au cours du temps. La représentativité des patients est aussi fortement handicapée par ce point. Dans ces conditions (faible puissance pour le critère considéré, absence d’hypothèse spécifique), un résultat p<0.05 a une faible valeur prédictive de l’effet du traitement (cf. chapitre sur l’inférence bayésienne).
L’utilisation d’une étude de phase 2 pour revendiquer l’intérêt clinique du médicament est souvent décidée devant un effet traitement très important, faisant penser qu’une confirmation par l’étude de phase 3 est inutile et que retarder l’accès des patients à ce traitement induit une perte de chance. Ce point est contredit par la méta-épidémiologie qui montre une faible valeur prédictive des « very large treatment effect » observée en phase précoce [64] (cf. section 2.6, page 17). Comme les études de phase 2 sont par nature exploratoires, ce type de résultat est presque toujours obtenu sur des critères de jugement annexes, non inclus dans un plan de contrôle du risque alpha global et en dehors de toute démarche hypothético-déductive. Les résultats méta-épidemiologiques déjà cités montrent que la taille de l’effet (et/ou l’importance clinique du critère, cf. section 2.6) n’affranchit pas ces résultats de leurs limites méthodologiques.
La décision d’utiliser une étude de phase 2 dépend la plupart du temps de ses résultats. Il s’agit d’une démarche entièrement guidée par les résultats qui présentent ainsi les limites méthodologiques des choix post hoc et de l’absence de démarche confirmatoire (cf. section 2.3 et Chapitre 3). La démarche est purement opportuniste en saisissant l’occasion d’exploiter un résultat non initialement prévu pour cela et ce en fonction de ce qu’il permet (« cherry picking » ).
La mise à disposition du médicament va aussi fortement handicaper la réalisation des études de confirmation (même si celles-ci sont exigées en cas d’enregistrement précoce) [175] . Pire, même en cas de résultats négatifs les produits peuvent rester enregistrés et recommandés, par exemple dans 30% des cas en oncologie [175] .
[35] L’appellation des phases est parfois trompeuse. Les phases 2 sont théoriquement des études préliminaires destinées à préparer les études dont la finalité est la démonstration du bénéfice : les phases 3. De ce fait la méthodologie des phases 2 est moins rigoureuse que celle des phase 3. Par collision des concepts, d’éventuelles études de confirmation (donc qui sont des phases 3 par définition) mais qui utilisent la méthodologie habituelle des phase 2, sont appelées à tort phase 2 (cf. page 51). Dans cette section il s’agit des véritables phases 2, à savoir des études préliminaires.
[36] Comme en témoigne la soumission d’un dossier à la commission de transparence https://www.has-sante.fr/upload/docs/evamed/CT-17224_CABOMETYX_PIC_EI_Avis3_CT17224.pdf
