2 TL ; DR - Guide d’évaluation des comparaisons à un groupe contrôle externe
3 Les études de comparaison externe, de quoi s’agit-il ?
5 Les problématiques méthodologiques soulevées par les comparaisons externes
5.1 Solutions potentielles pour les comparaisons externes
5.2 Hypothèses des comparaisons indirectes
6 Les comparaisons externes sont des études observationnelles
7 Position des agences de régulation et de HTA
8 De la nécessité d’avoir des preuves de l’intérêt cliniques des nouveaux traitements
9 Les sources de données utilisables
10 Les problématiques liées à l’aspect rétrospectif de ces études
12 Démarche hypothético déductive
13 L’inférence causale et les hypothèses sous-jacentes
15 Les techniques d’analyses statistiques
16 Le diagnostic d’absence de biais de confusion résiduel
18 Identifications des patients dans la source de données
21 Les outils d’évaluation du risque de biais
22 L’émulation d’un essai cible
23 Le benchmarking et les contrôles positifs
24 Analyses de sensibilité , analyses quantitatives du biais
26 Contrôle du risque alpha global
L’approche des comparaisons externes repose sur de nombreuses hypothèses fondamentales [16] [17] [18]. Le résultat obtenu ne correspondra à la réalité de l’effet du traitement qu’à condition que ces hypothèses soient vérifiées par les données et la réalisation de l’étude note n° 5 . Dans le cas contraire, les résultats ne seront pas à l’abri des biais et se posera la condition de l’acceptabilité des résultats produits pour la prise de décision. Parmi ces hypothèses fondamentales de validité, la plupart ne sont pas testables et vérifiables, situation pouvant être considérée comme rédhibitoire pour la production des preuves du bénéfice clinique des nouveaux traitements.
En regard de cette situation, la méthodologie de l’essai clinique prospectif, contrôlé, randomisé en double aveugle et analysé en intention de traiter a été développée pour ne dépendre d’aucune hypothèse en dehors de la qualité de sa conception et de sa réalisation (qui est garantie par le système d’assurance qualité de ces études, le respect des bonnes pratiques cliniques et qui est évaluable par les monitorings sur site et les audits de réalisation).
Le Tableau 1 présente les hypothèses des comparaisons externes et montre comment l’essai randomisé classique s’en affranchit.
Tableau 1 – Hypothèses implicites sous-jacentes à l’acceptation des résultats de comparaisons externes comme éléments probant pour la construction des stratégies thérapeutiques.
Hypothèses faites par les comparaisons externes |
Situation dans l’essai randomisé |
Absence de HARKing (pour les études rétrospectives) |
HARKing complètement exclut étant donné la nature prospective de l’étude (peut être remis en cause par les amendements en cas d’analyses intermédiaires possibles) |
Absence de p hacking |
Absence garantie par le plan d’analyse statistique dont la conception avant toute analyse inférentielle est facile à établir du fait de la réalisation prospective de l’essai (peut être remis en cause par les amendements en cas d’analyses intermédiaires possibles) |
Hypothèse de positivité |
La positivité est garantie par la randomisation |
Hypothèses de cohérence |
Cohérence assurée par la nature expérimentale |
Hypothèses d’échangeabilité (conditionnelle) qui recouvre les hypothèses plus spécifiques suivantes |
Échangeabilité garantie par la randomisation : l’assignation à un traitement est indépendante de l’outcome et des caractéristiques des patients. Aucune hypothèse n’est nécessaire sur ce point. |
Tous les facteurs pronostiques et les modificateurs d’effets ont été pris en compte par l’ajustement |
Ne concerne pas l’essai randomisé (les ajustements effectués dans un essai randomisé ont pour but d’optimiser la puissance et la précision, et en aucun cas de corrigé d’un biais de confusion qui est évité par design grâce à la randomisation. Les ajustements peuvent aussi concerner la non-collapsibilité de l’estimateur de l’effet traitement utilisé) |
Les modèles (de traitement, score de propension par exemple ou d’outcome) sont bien spécifiés |
|
Les contrôles négatifs captent la totalité de la structure de confusion affectant les associations recherchées (si des contrôles négatifs sont utilisés pour évaluer le biais de confusion résiduel) |
Sans objet |
Absence de biais de sélection |
Absence assurée par la randomisation, l’aspect prospectif de l’étude et l’analyse en intention de traité |
Absence d’erreur de classification des outcomes entre le groupe traité et le groupe contrôle |
Garantie obtenue par le double insu (non-garantie dans les essais en ouvert même en cas d’adjudication des outcomes en aveugle) et le système d’assurance qualité des données de l’essai : data management, monitoring sur sites, etc. |
Absence d’erreur de classification de l’assignement à exposition dans le groupe contrôle externe |
Garantie par l’analyse en intention de traité et le caractère expérimentale de l’étude |
Les données manquantes sur les critères de jugement sont non informatives |
Mêmes hypothèses en cas de données manquantes |
Les données manquantes sur les covariables sont manquantes au hasard (missing at random, MAR) |
Les covariables n’ont pas d’importance dans la fiabilité de l’estimation des effets traitements |
[5] Ces hypothèses exposant à des biais en cas de non vérification sont aussi parfaitement bien exposées dans le guide EMA sur les études pivots monobras (https://www.ema.europa.eu/en/documents/scientific-guideline/reflection-paper-establishing-efficacy-based-single-arm-trials-submitted-pivotal-evidence-marketing-authorisation-application_en.pdf)