4.6 Une présomption de bénéfice est insuffisante

     

L’obtention de la preuve du bénéfice est présentée de plus en plus comme étant superfétatoire, difficile et couteuse à obtenir, et inutile, privant les patients de traitements innovants qui ne peuvent pas, soi-disant, produire la preuve jusqu’ici demandée. Un débat s’est ouvert où il est avancé qu’une simple présomption de bénéfice serait suffisante et permettrait alors aux patients d’avoir accès à ces traitements sans retard.

La présomption de bénéfice n’est définie nulle part mais correspond à une situation d’absence de preuve formelle. Cette présomption est alors fondée sur différents types d’arguments ou de résultats :

  • Rapports anecdotiques
  • Mécanisme d’action prometteur
  • Résultats montrant un effet pharmacologique, résultats d’essais sur un critère intermédiaire
  • Argumentation non contrefactuelle, basée sur une série de patients, une étude mono-bras
  • Résultats d’une phase 2 (non pivotale)
  • Résultats post hoc , de découverte fortuite (sous-groupe, critères de jugement secondaires ou exploratoires)
  • Études observationnelles sans inférence causale et ne faisant pas la preuve de sa fiabilité ; études rétrospectives
  • Résultats exploratoires issus d’une méta-analyse sans essai concluant par lui-même
  • Résultat nominalement significatif mais non significatif en termes de risque alpha global
  • Résultats non nominalement statistiquement significatif d’un essai randomisé, mais dont la tendance a un « sens clinique »
  • Résultats d’une analyse intermédiaire non concluante

Chacun des points de cette liste correspond à des situations qui ont été identifiées dans l’histoire du développement de la méthodologie comme étant problématiques, pouvant être faussement positives (en faveur du bénéfice du traitement) et conduire à une décision erronée.

Bien entendu lorsque le traitement apporte un bénéfice clinique des arguments sont vérifiés, mais la question est bien leur aptitude à ne pas faillir et à donner suffisamment de garanties sur l’existence du bénéfice clinque in fine .

Les principes méthodologiques ne sont pas idéologiques. Ils représentent les solutions aux problématiques que soulève l’évaluation du bénéfice clinique d’un nouveau médicament.

Tableau 1 – Limites et insuffisance des différents arguments avancés comme présomption de bénéfice clinique

Type d’arguments insuffisamment solides

Limite(s) potentielle(s)

Solution

Avis d’expert (non factuel)

Subjectivisme ; spéculatif

Vérification des hypothèses par une étude ad hoc (raisonnement déductif)

Résultat anecdotique, étude de cas

Raisonnement du type « post hoc proper ergo hoc » ; absence de raisonnement contrefactuel ; pas d’évaluation de la balance bénéfice-risque

Vérification des hypothèses par une étude ad hoc (raisonnement déductif)

Résultats post hoc (quel que soit le type d’étude), découverte fortuite

Raisonnement inductif ; résultat post hoc ; multiplicité ; « harking »; potentiellement renforcés par le biais de publication et le « selective reporting »

Vérification des hypothèses par une étude ad hoc (raisonnement déductif )

Fouille de donnée (« data mining » sur « big data » par exemple)

Raisonnement inductif ; Identification des artefacts ; multiplicité ; « harking » ; « p-hacking », « data dredging » et « cherry picking »

Vérification des hypothèses par une étude ad hoc (raisonnement déductif)

Mécanisme d’action , effet pharmacologique

Pas une finalité clinique en soi ; manque de prédictibilité sur le bénéfice clinique ; pas d’évaluation des risques et de la balance bénéfice-risque

Vérification par les faits que le mécanisme ou l’effet pharmacologique se traduit bien chez les patients en bénéfice clinique

Critère intermédiaire

Pas de pertinence clinique en soi. Plus proche de l’effet pharmacologique que de l’effet clinique. Les effets pharmacologiques ne prédisent pas systématiquement les bénéfices cliniques ; pas d’évaluation des risques et de la balance bénéfice-risque

Démonstration de la valeur de substitution (« surrogacy » ) du critère ou essais sur critères cliniques (morbi-mortalité)

Étude rétrospective (quel que soit le type d’étude : analytique, descriptive avec une comparaison externe, méta-analyse, etc.)

Fouille possible, « harking » ; multiplicité ; « p-hacking » ; biais de publication, « selective reporting »

Garantir qu’il s’agit d’une réelle validation prospective d’une nouvelle hypothèse sur des données historiques (rétrospectives) ; garantir que l’hypothèse n’a pas été formulée à partir des mêmes données (protocole enregistré, SAP, enregistrement a priori des critères cliniques de succès, etc.)

Argument issu d’une démarche rétrospective (sur données historiques)

Démonstration de l’absence de biais de confusion résiduelle gênant ; ajustement raisonné (DAG) ; contrôle du biais de sélection (DAG) ; design d’émulation d’essai cible ; étude multi cohorte ; inférence causale

À confirmer par une démarche prospective ou par une vraie démarche prospective-rétrospective [182]

Résultat non comparatif (absence de groupe contrôle : étude mono-bras )

Absence de raisonnement contrefactuel direct

Étude comparative à contrôle externe a minima, mais ne remplace par un RCT

Étude observationnelle d’efficacité (sans preuve d’absence de biais de confusion résiduelle)

Biais de confusion ; autres biais (sélection, mesure, classification, etc.)

Études observationnelle reposant sur une approche d’inférence causale, émulant un essai cible et faisant la preuve d’absence de biais de confusion résiduelle

Phase 2 non pivotale

Souvent méthodologie et qualité de réalisation dégradées (risque alpha global non contrôlé, règles de censure inappropriées, absence de monitorage, standard d’assurance qualité inférieure aux études pivotales) ; Absence de réelle étude de confirmation (phase pivotale) ; évaluation de la sécurité limitée

Réalisation d’une étude pivotale dans un contexte rendant possible sa réalisation.

Étude isolée ; revue de la littérature ou méta-analyse non exhaustive (n’ayant pas cherché les études non publiées)

Biais de publication (sauf si l’étude est unique mais seule une revue systématique ou un plan de développement permet de l’attester) ou sélection d‘études d’après leurs résultats (et non pas leur qualité méthodologique). Possibilité de sacralisation d’un faux positif

Décision issue d’un processus « d’ evidence synthesis » (revue systématique et éventuellement méta-analyse )

Décision après analyses intermédiaires d’efficacité non prévues et non formalisées

Multiplicité, inflation du risque alpha non contrôlé et surtout « p-hacking » (décision d’arrêter l’étude et de décider à partir des résultats produits entièrement guidée par les résultats eux-mêmes, sophisme, tautologie)

Analyse des résultats d’efficacité avant le terme prévu de l’étude uniquement dans un cadre prévu à priori et formalisé avec une méthode de contrôle du risque alpha global (ou si un événement externe justifie l’arrêt de l’étude)

Décision après analyses intermédiaires d’efficacité non concluantes (mais nominalement significatives)

Inflation du risque alpha, avec un risque alpha global non contrôlé ;

La signification nominale ne signifie rien avec les plans modernes de contrôle du risque alpha global.

Conclusion au bénéfice que lorsque l’analyse intermédiaire est significative suivant le seuil ajusté ; absence de communication des résultats intermédiaires non concluants

Résultat nominalement « statistiquement significatif » mais non significatif en termes de risque alpha global

Le risque de conclure à tort à l’intérêt du traitement n’est plus contrôlé. Considérer ce résultat revient à ne plus prendre en considération la problématique des différences dues au hasard et des erreurs statistiques.

Ne pas rapporter les p values des résultats non significatifs en termes de risque alpha global. Réplication à entreprendre de manière ad hoc

Résultat non significatif mais médicalement « important »

Le résultat est non significatif, le risque de conclure à tort à l’intérêt du traitement n’est plus contrôlé. La pertinence ou l’importance médicale du résultat ne lève pas cette problématique.

Aucune. Les résultats non significatifs ne permettent pas de conclure compte-tenu du choix anticipé du risque maximal consenti de conclure à tort à l’intérêt du traitement (cf. principes fondamentaux de l’inférence statistique)

DAG : Directed acyclic graph

Une autre limite des éléments de présomption est qu’étant spéculatifs par nature et ayant chacun des limites intrinsèques, ils offrent la possibilité de débat sans fin entre experts. Le décideur est alors soumis à une grande variabilité du discours entre experts et d’un jour à l’autre. Aucun de ces arguments, n'ayant valeur de preuve, n’est donc en mesure de statuer définitivement et mettre un terme aux interprétations et spéculations. L’intérêt des preuves de haut niveau est aussi leur aspect opposable, qui s’impose à nous indépendamment d’un schéma de pensée ou d’opinion. L’étude répond directement à la question qui se pose (si l’étude est bien conçue et réalisée) indépendamment de tout raisonnement interprétatif ou spéculatif.

Les éléments de présomption de bénéfice sont presque toujours focalisés sur l’efficacité et n’abordent pas le risque. Ils induisent donc la recherche de démonstration d’une efficacité plus que d’un bénéfice clinique net (qui intègre le risque). Les raisonnements mécanicistes sous-estiment systématiquement le risque des molécules. Les résultats des études intermédiaires ou non comparatives ne sont pas en mesure de documenter correctement le risque.