2 TL ; DR - Guide d’évaluation des comparaisons à un groupe contrôle externe
3 Les études de comparaison externe, de quoi s’agit-il ?
5 Les problématiques méthodologiques soulevées par les comparaisons externes
6 Les comparaisons externes sont des études observationnelles
7 Position des agences de régulation et de HTA
8 De la nécessité d’avoir des preuves de l’intérêt cliniques des nouveaux traitements
9 Les sources de données utilisables
10 Les problématiques liées à l’aspect rétrospectif de ces études
11 Rédaction du protocole
12 Démarche hypothético déductive
13 L’inférence causale et les hypothèses sous-jacentes
15 Les techniques d’analyses statistiques
16 Le diagnostic d’absence de biais de confusion résiduel
18 Identifications des patients dans la source de données
21 Les outils d’évaluation du risque de biais
22 L’émulation d’un essai cible
23 Le benchmarking et les contrôles positifs
24 Analyses de sensibilité , analyses quantitatives du biais
26 Contrôle du risque alpha global
La rédaction d’un protocole et d’un plan d’analyse statistique avant la réalisation d’une étude de comparaison externe est indispensable pour garantir la valeur méthodologique du travail (cf. section 10).
Le but de ces comparaisons externe étant de fournir des preuves (RWE) pour justifier de l’intégration du nouveau traitement dans la stratégie thérapeutique, il s’agit d’une étude à part entière et non pas d’une simple analyse rétrospective de données.
Le protocole doit être centré sur la comparaison et non pas sur la constitution du groupe contrôle externe. L’objectif primaire de l’étude est de faire avant tout une comparaison externe. La constitution du groupe contrôle n’étant qu’un moyen et non une finalité.
La démarche qui sera utilisée pour constituer le groupe contrôle externe doit évidemment être aussi protocolisée de manière rigoureuse, mais il ne s’agit qu’un des éléments de l’étude de comparaison externe. En effet la finalité de cette partie est de fournir des données adaptées à la comparaison qui est envisagée, mais non de faire de cette comparaison. Ce point peut paraitre trivial, mais on rencontre assez fréquemment des protocoles qui prévoient la comparaison externe d’intérêts comme simple objectif secondaire, ou accessoire, d’un protocole d’une étude de RWD dont l’objectif primaire était la description d’une cohorte traitée avec le traitement standard. La démarche ne peut être celle d’une simple étude de « RWE » dont l’objectif est de décrire une cohorte de patients traités dans la vraie vie avec le traitement standard et qui, en objectif secondaire ou accessoire, prévoit de faire la comparaison d’intérêt (en précisant souvent qu’il s’agit d’une comparaison exploratoire) comme par exemple : https://clinicaltrials.gov/study/NCT07028489 , https://clinicaltrials.gov/study/NCT05842486 , https://clinicaltrials.gov/study/NCT06973161 .
Une comparaison externe ne peut pas reposer entièrement et uniquement sur un simple plan d’analyse statistique (SAP) élaboré, par exemple, en marge d’un registre existant. À nouveau, ces comparaisons sont des études à part entière, visant à produire des preuves, et non pas de simple analyse de données. Le SAP ne peut se substituer à un protocole, il n’est qu’une mise en forme opérationnelle de l’analyse prévue au protocole.
Une comparaison externe étant une étude à part entière, un protocole et un plan d’analyse statistique établi a priori sont obligatoires
De même le protocole général de constitution d’un registre ne peut être considéré comme étant le protocole d’une comparaison externe. Celui-ci ayant été établi pour encadrer le recueil de données sans objectif précis d’étude, il n’aborde aucun aspect de la comparaison externe réalisée avec ses données (comme par exemple https://clinicaltrials.gov/study/NCT04328298 ).
Les études conçues comme un essai comparatif à contrôle externe (« externally controlled trial ») au sens proposé par la FDA dans le guide « Considerations for the Design and Conduct of Externally Controlled Trials » [6] reposent sur un seul protocole. En effet ces études sont conçues d’emblée comme étant une comparaison externe d’un groupe traité avec le nouveau traitement et d’un groupe contrôle (souvent historique). Cette comparaison externe est donc prévue avant le recueil des données des patients traités. Un seul protocole va codifier la réalisation de la partie expérimentale avec le nouveau traitement, la constitution du groupe contrôle externe et de la comparaison de ces 2 groupes.
À l’opposé, lorsque la comparaison externe prend place après la réalisation d’une étude monobras, le protocole ne concernera que la constitution du groupe contrôle externe et la comparaison. Au total l’étude reposera sur deux protocoles : celui de la comparaison externe et celui antérieur de la monobras.
Dans cette situation il est aussi possible de séparer le protocole de la constitution du groupe contrôle externe de celui de la comparaison externe. Apparaissent alors trois protocoles au total. L’individualisation du protocole de constitution du groupe contrôle externe correspond survient souvent lorsque le groupe contrôle n’est pas extrait d’une base de données cliniques déjà structurée, mais nécessite un travail approfondi d’identification des données comme une extraction de dossiers médicaux, une chart review , une extraction d’une base de données administratives, etc.
Plusieurs guides définissant le contenu du protocole des études observationnelles sont disponibles [105] [98] [103] [109] [110] . ISPOR propose un modèle de protocole standard dénommé HARPER [105] . Bien que non spécifique des études de comparaisons externes, ces guides plus généraux, s’appliquent aussi à ces études moyennant quelques adaptations mineures.
L’étude doit être construite avant le choix des données, car c’est l’étude qui conditionne les données nécessaires à sa réalisation en termes de variables de sélection des patients, de critères de jugements, de facteurs de confusion, et de contrôles négatifs, etc.
L’étude doit être construite avant le choix de la source de données, car c’est l’étude qui conditionne les données nécessaires et non pas les données qui drive la construction de l’étude.
Choisir les données en premier introduit des contraintes fortes dans la construction de l’étude qui peuvent conduire à une étude méthodologiquement inappropriée pour répondre à la question de recherche ; par exemple en utilisant un critère de jugement insuffisamment cliniquement pertinent, car le critère adapté à la question de recherche n’était pas disponible dans les données choisies ou effectuant des ajustements insuffisants pour contrôler tous les facteurs de confusion.
Toutes les données disponibles ne permettent pas de faire une étude donnée. Les données doivent donc être choisies en fonction de leur d’adéquation à l’étude envisagée et de leur qualité. Après la construction de l’étude et la rédaction du protocole, la première étape de réalisation d’une étude de comparaisons indirectes est de chercher les données adaptées à l’étude. On parle de qualification des sources de données, ou de « fit-to-purpose assessment » [89] [87] .
Il est d’ailleurs possible que de telles données n’existent pas et qu’il s’avère donc impossible de répondre à la question de recherche par la voie d’une comparaison externe. En effet, faire à tout prix une étude avec des données insuffisantes, inadaptées ou de mauvaise qualité conduira immanquablement à une étude qui ne pourra pas être exploitée pour la prise de décision et donc à un travail inutile. Dans ce cas la seule solution envisageable sera celle d’un groupe contrôle prospectif.
Bien entendu une fois les données identifiées, le protocole devra être complété avec les aspects spécifiques à des données. Ainsi la construction de ces études s’effectue en plusieurs étapes :
Avec cette séquence se pose la question du moment de l’enregistrement du protocole (cf. section 10.3). Si celui-ci est effectué à l’issue de l’étape 1, la finalisation du protocole après avoir trouvé les données appropriées fera l’objet d’un amendement du protocole. Une autre option est de n’enregistrer le protocole qu’une fois les données choisies et le celui-ci finalisé. [111] [87] . Cette approche présente l’inconvénient de conduire à un enregistrement du protocole alors que le travail a déjà débuté avec la recherche et la qualification des données adaptées.
Si la recherche des données est entreprise de manière post-hoc, après l’obtention des résultats de l’étude monobras (ou du RCT) la possibilité d’un choix du groupe contrôle en fonction des résultats produits devient une limite rédhibitoire si elle n’est pas correctement gérée (cf. section 10 )