2 TL ; DR - Guide d’évaluation des comparaisons à un groupe contrôle externe
3 Les études de comparaison externe, de quoi s’agit-il ?
5 Les problématiques méthodologiques soulevées par les comparaisons externes
6 Les comparaisons externes sont des études observationnelles
7 Position des agences de régulation et de HTA
8 De la nécessité d’avoir des preuves de l’intérêt cliniques des nouveaux traitements
9 Les sources de données utilisables
10 Les problématiques liées à l’aspect rétrospectif de ces études
12 Démarche hypothético déductive
13 L’inférence causale et les hypothèses sous-jacentes
15 Les techniques d’analyses statistiques
16 Le diagnostic d’absence de biais de confusion résiduel
18 Identifications des patients dans la source de données
21 Les outils d’évaluation du risque de biais
22 L’émulation d’un essai cible
23 Le benchmarking et les contrôles positifs
24 Analyses de sensibilité , analyses quantitatives du biais
26 Contrôle du risque alpha global
Au niveau statistique, la production de preuves au-delà de tout doute raisonnable nécessite un contrôle strict du risque alpha global, c’est-à-dire du risque de conclure à tort à un quelconque bénéfice du traitement uniquement du fait des fluctuations aléatoires d’échantillonnage. Tout comme les essais randomisés pivots de phase 3, ces études de comparaisons externes doivent prévoir une gestion de la multiplicité des comparaisons statistiques afin de contrôler le risque alpha global et utiliser les mêmes techniques que celles mises en œuvre habituellement dans les essais cliniques : critère de jugement principal unique ou hiérarchisation des critères de jugement ou répartition du risque alpha avec ou sans réallocation, etc.
Si l’étude est strictement rétrospective, la question des analyses intermédiaires ne se pose pas. Cependant, dans certains cas, ces études peuvent comporter une partie prospective, par exemple lorsque le nombre initial de patients (ou d’événements) dans la base de données (registre, cohorte) au moment de la mise en place de l’étude est insuffisant. Il convient alors d’attendre le nombre nécessaire avant de réaliser l’analyse. Dans ces situations un schéma d’analyses séquentielles peut être prévu en utilisant les méthodes habituelles de contrôle du risque alpha global lors des analyses intermédiaires. Sans cette protection, tout résultat d’analyse « intermédiaire » qui serait réalisé s’apparenterait directement à du p-hacking et rendrait caduque la possibilité de produire des résultats démontrés avec cette étude.
La p value n’est pas un indicateur de la solidité du résultat, en particulier vis-à-vis des biais. La p valeur n’est qu’un instrument pour contrôler (au sens de limiter) le risque de fausse conclusion à un intérêt du traitement, uniquement du fait du hasard (cf. livre blanc Dossier 3 – Le contrôle du risque alpha global note n° 27 ).
Une p-value très petite (<0.001 par exemple) ne signifie pas que le résultat est robuste vis-à-vis des biais, elle ne signifie pas que les limites habituelles des comparaisons observationnelles ont été dépassées. Cette robustesse vis-à-vis des biais est en partie documentée par l’analyse quantitative des biais et la E-value (cf. section 16.2 ) mais pas par la p value.
De même, la p-value n’est pas un indicateur de pertinence clinique de la taille de l’effet. Une p-value petite ne montre pas que la taille de l’effet est importante. Ce sont deux notions différentes. Un petit effet, non cliniquement pertinent, peut-être significatif, voire très significatif, si la puissance de l’étude est importante. Or avec les données médico-adminsitratives, il est possible d’avoir des effectifs considérables (en particulier avec les données populationnelles comme les bases administratives type SNDS) et toutes différences obtenues s’avèrent très significatives. Cela ne donne aucune garantie que la taille de l’effet est importante ou que le risque de biais est supprimé.
[27] https://sfpt-fr.org/livreblancmethodo/part6/file_0.htm
