2 TL ; DR - Guide d’évaluation des comparaisons à un groupe contrôle externe
2.1 Validité méthodologique et épistémique
2.5 Autres points : assurance qualité, multiplicité des comparaisons, pertinence clinique
3 Les études de comparaison externe, de quoi s’agit-il ?
5 Les problématiques méthodologiques soulevées par les comparaisons externes
6 Les comparaisons externes sont des études observationnelles
7 Position des agences de régulation et de HTA
8 De la nécessité d’avoir des preuves de l’intérêt cliniques des nouveaux traitements
9 Les sources de données utilisables
10 Les problématiques liées à l’aspect rétrospectif de ces études
12 Démarche hypothético déductive
13 L’inférence causale et les hypothèses sous-jacentes
15 Les techniques d’analyses statistiques
16 Le diagnostic d’absence de biais de confusion résiduel
18 Identifications des patients dans la source de données
21 Les outils d’évaluation du risque de biais
22 L’émulation d’un essai cible
23 Le benchmarking et les contrôles positifs
24 Analyses de sensibilité , analyses quantitatives du biais
26 Contrôle du risque alpha global
La qualité de réalisation est assurée aussi bien pour la constitution du groupe contrôle externe que pour la réalisation de comparaison elle-même ?
Un système d’assurance qualité a-t-il été mis en place au niveau de la source de données pour le recueil primaire des données, au niveau de l’extraction du groupe contrôle externe et du traitement de ces données, et pour la réalisation de la comparaison externe elle-même ? Permet-il d’assurer la traçabilité, l’auditabilité, et l’intégrité des données et des analyses ?
Ce point recouvre de nombreux points : respect des cadres de référence qualité des études sur données comme ceux de l’ENCePP ou des agences de régulation (FDA, EMA, etc.), conformité réglementaire (RGPD par exemple), qualité de l’analyse, traçabilité (data trail, changelog, etc., accessibilité aux codes et aux data trials.
Ces principes d’assurance qualité s’appliquent aussi au groupe traité (elles ont été mises en œuvre si ce groupe traité est constitué par une étude monobras ou le bras d’un essai randomisé d’enregistrement).
La multiplicité des comparaisons statistiques est-elle correctement gérée ? un critère de jugement principal unique
La multiplicité des comparaisons statistiques augmente le risque de conclure à tort à un quelconque intérêt du traitement (cf. section 26). La multiplicité doit être gérée soit en utilisant un critère de jugement principal unique (qui ne permettra de faire une seule conclusion) soit une méthode de comparaisons multiples permettant de contrôler le risque alpha global (répartition du risque alpha, hiérarchisation, avec ou sans réallocation).
Les comparaisons en dehors du plan de contrôle du risque alpha global ne permettent pas d’inférer l’effet du traitement et ne peuvent pas être à la base de l’adoption du nouveau traitement dans la stratégie thérapeutique.
La gestion de la problématique des comparaisons multiples est identique à celle employée avec l’essai randomisé.
Les résultats sont-ils cliniquement pertinents ? La balance bénéfice risque est-elle évaluée correctement et est-elle favorable ?
L’analyse de ces points de pertinence est identique à celle effectuée pour juger de la pertinence clinique d’un essai clinique. La pertinence clinique est tout aussi importante que la fiabilité des résultats dans l’utilisation des résultats d’une étude pour changer les pratiques, mais ne peut pas de substituer à cette fiabilité. Un résultat de mortalité peut très bien être dû à un biais malgré la forte pertinence clinique du critère de jugement de mortalité.
