2 TL ; DR - Guide d’évaluation des comparaisons à un groupe contrôle externe
2.1 Validité méthodologique et épistémique
2.2 Biais de confusion
2.5 Autres points : assurance qualité, multiplicité des comparaisons, pertinence clinique
3 Les études de comparaison externe, de quoi s’agit-il ?
5 Les problématiques méthodologiques soulevées par les comparaisons externes
6 Les comparaisons externes sont des études observationnelles
7 Position des agences de régulation et de HTA
8 De la nécessité d’avoir des preuves de l’intérêt cliniques des nouveaux traitements
9 Les sources de données utilisables
10 Les problématiques liées à l’aspect rétrospectif de ces études
12 Démarche hypothético déductive
13 L’inférence causale et les hypothèses sous-jacentes
15 Les techniques d’analyses statistiques
16 Le diagnostic d’absence de biais de confusion résiduel
18 Identifications des patients dans la source de données
21 Les outils d’évaluation du risque de biais
22 L’émulation d’un essai cible
23 Le benchmarking et les contrôles positifs
24 Analyses de sensibilité , analyses quantitatives du biais
26 Contrôle du risque alpha global
Les facteurs de confusion potentiels sont-ils listés ?
Afin de juger du degré de complétude de l’ajustement effectué, il est indispensable de connaitre l’ensemble des facteurs de confusion potentiels impliqués dans la comparaison externe. Établir cette liste est le pré requis à la construction des ajustements à réaliser pour corriger les résultats du biais de confusion (cf. section 14). Cette liste n’étant pas triviale, il est indispensable qu’elle soit rapportée pour permettre au lecteur d’évaluer la complétude des ajustements réalisés.
Dans les comparaisons externes, les facteurs de confusion potentiels sont soit des facteurs pronostiques des critères de jugement soit des modificateurs d’effet (cf. section 14.1).
Les facteurs de confusion potentiels ont-ils étaient identifiées de façon formelle ?
La détermination des facteurs de confusion affectant une étude n’est pas un problème trivial. Elle doit reposer sur une approche formalisée combinant revue systématique des facteurs pronostiques et analyse du réseau de causalité (par un DAG par exemple).
Les facteurs de confusion pouvant être spécifiques des critères de jugement (cf. section 14.1), leur identification doit être formalisée pour chaque famille de critère de jugement.
Une revue systématique satisfaisante à la recherche des facteurs pronostiques des différents critères de jugement a-t-elle été réalisée ?
La méthodologie de cette revue systématique correspond-elle aux standards attendus (cf. section 14.2.2) ? Est-elle bien spécifique des études pronostiques ?
La problématique des facteurs pronostiques non connus est-elle discutée ?
Les comparaisons à un groupe contrôle externe reposant sur deux échantillonnages distincts, les facteurs pronostiques inconnus peuvent être facteur de confusion en n’étant pas distribués de la même manière dans les deux populations sources dont sont issus les deux échantillonnages (cf. section 13.3.1). Ce point contribue à l’effet étude non réductible. Il doit être discuté.
Un graphique de causalité (DAG par exemple) a-t-il était utilisé pour déterminer les covariables d’ajustement ? Un ajustement sur des collisionneurs ou des médiateurs est exclu ?
Tous les facteurs de confusion identifiés étaient-ils disponibles dans la source de données utilisées ?
La non-prise en compte de certains facteurs de confusion conduit à un biais de confusion résiduel après ajustement obérant la possibilité d’exploiter les résultats pour la construction de la stratégie thérapeutique. Une exploration du biais de confusion résiduel sera d’autant plus cruciale dans cette situation.
Le biais de confusion résiduel a-t-il était évalué ? Par quelles approches (contrôles négatifs, analyses quantitatives de biais) ? Un biais de confusion résiduel est-il exclu ?
Les contrôles négatifs et l’évaluation quantitative de biais sont deux approches, de philosophie différente, mais qui essayent toutes les deux de réfuter la possibilité d’un biais de confusion résiduel persistant après l’ajustement. Bien que très astucieuses, ces méthodes reposent sur des hypothèses et leurs conclusions sont toujours de certitude limitée (cf. section 5.2)
Si cette question est abordée par des analyses de sensibilités, les variations d’analyses explorées par celles-ci permettent-elles vraiment l’évaluation du biais de confusion résiduelle (cf. section 24.1) ?
Les contrôles négatifs utilisés permettent-ils de couvrir la totalité des facteurs de confusion potentiels ?
Est-il raisonnable dépenser que, collectivement, tous les contrôles négatifs utilisés couvrent la totalité des facteurs de confusion affectant les comparaisons d’intérêts (cf. section 16.1) ?
Si ce n’est pas le cas il sera impossible de conclure à l’absence de biais de confusion résiduel et la portée des résultats sera limitée pour la construction de la stratégie thérapeutique.
Les mesures d’association pour les contrôles négatifs sont-elles suffisamment précises pour conclure que l’absence d’association attendue a bien été retrouvée ?
La conclusion à l’absence de biais de confusion résiduelle repose sur une conclusion d’absence d’association qui ne peut être raisonnablement spéculé que si l’estimation est suffisamment précise
Les analyses quantitatives de biais sont-elles à même d’exclure un biais de confusion résiduel ? Dans les analyses quantitatives de biais, les hypothèses de biais nécessaire pour expliquer les résultats sont-elles suffisamment extrêmes pour ne pas être plausibles ?
Si ce n’est pas le cas, il sera impossible de conclure à l’absence de biais de confusion résiduel et la portée des résultats sera limitée pour la construction de la stratégie thérapeutique.
Les modificateurs d’effet des traitements comparés ont-ils été recherchés ?
De la même manière que pour les comparaisons indirectes non ancrées, les modificateurs des effets des traitements comparés sont des facteurs de confusion potentiels des études de comparaisons externes (cf. section 14.1.1). Afin de déterminer si les ajustements effectués sont complets, les modificateurs d’effet doivent avoir été recherchés de manière formelle en se basant sur les analyses en sous-groupes des essais cliniques (indisponibles si le nouveau traitement a été évalué dans une étude monobras) et les mécanismes pharmacologiques connus.
