Comparaisons à un groupe contrôle externe

La conception de la comparaison externe avant la prise de connaissance des résultats du groupe traité permet d’exclure en partie une conception drivée par les données (cf. section 10). L’anticipation de la comparaison externe débouche sur la réalisation d’un essai contrôlé à contrôle externe (externally control study ) tel que défini dans ICH E10 (cf. section 3).

Si ce n’est pas le cas, il n’est pas possible d’exclure une conception de la comparaison externe drivée par les données. Une grande transparence dans le processus de sélection (non arbitraire) de la source de données et dans les choix méthodologiques et d’analyse sera alors nécessaire pour écarter HARking et p hacking (cf. sections 10.1 et 10.2).

L’étude est explicitement une étude de confirmation avec une hypothèse thérapeutique clairement définie a priori ?

Tout comme l’essai pivot de phase 3 qu’elle est censée suppléer, cette étude de comparaison externe est une étude de confirmation dont l’objectif était clairement de montrer la supériorité (ou la non-infériorité) du nouveau traitement par rapport au comparateur et non pas une simple étude exploratoire (cf. section 12).

Si ce n’est pas le cas, l’étude ne permet que de générer de nouvelles hypothèses et non pas d’apporter la preuve nécessaire à l’adoption du nouveau traitement dans la stratégie thérapeutique.

L’étude a été conçue (choix de la source de données, identification des facteurs pronostiques, choix des contrôles négatifs et positifs, etc.), a priori, avant toutes analyses inférentielles ?

En raison de la transparence avec laquelle l’étude est rapportée et des diverses garanties et attestations explicitement données, il est possible de conclure que l’étude a bien été conçue (question, choix de la source de données, protocole, plan d’analyse statistique) a priori, sans se baser sur les résultats que les différentes options pouvaient produire. Il est entre autres explicitement attesté que l’étude a été conçue avant toute analyse inférentielle. De ce fait il est possible de garantir l’absence de HARKing et de p hacking (cf. section 10).

Si le groupe contrôle est constitué de manière prospective, ces attentes sont remplies par principe (cf. section 9.2). Par contre se pose la question de la possibilité de réaliser un essai randomisé.

L’étude s’inscrit dans une perspective d’inférence causale

L’enjeu de la comparaison externe étant de suppléer l’absence d’un essai randomisé, une démarche d’inférence causale est obligatoire afin de permettre une conclusion de causalité (cf. section 13).

L’objectif de la comparaison externe correspond à une question causale sur l’efficacité et la sécurité de l’assignement au nouveau traitement. L’estimand causal correspondant à cet objectif a été correctement défini et identifiable avec les données et l’estimateur utilisés. Les hypothèses de l’inférence causale sont plausibles et non rejetées par les données (superposition des distributions des scores de propension par exemple).

La ou les sources de données ont été choisies en fonction de leur adéquation au protocole préétabli ?

La ou les sources de données utilisées pour construire le groupe contrôle externe ont été choisies en fonction des critères prédéfinis dans le protocole (en suivant la démarche PRINCIPLED ou une démarche similaire) (cf. section 9.5). L’étude a ainsi été réalisée avec des données « fit-to-purpose » et non pas avec des données déterminées arbitrairement a priori (afin d’éviter une étude construite autour des données et non pas pour répondre de façon fiable à la question posée, cf. section 11).

Les données utilisées pour constituer le groupe contrôle externe sont-elles adaptée et de bonne qualité ?

L’origine des données est-elle identifiable et traçable (cf. section 9.6) ?

Les données sont-elles pertinentes, rapportent-elles ou permettent-elles de recréer les critères de jugements de l’étude, les critères de sélection, les facteurs pronostiques des critères de jugements, les modificateurs d’effet, les contrôles négatifs nécessaires à la réalisation du protocole tel que préétabli (cf. section 9.5) ?

L’exactitude des données a-t-elle été évaluée (cf. section 20) ? Le degré d’exactitude mesuré (sensibilité, spécificité, VPP, VPN) est-il suffisant pour les besoins de la comparaison externe ?

La qualité globale des données a-t-elle était éprouvée par une approche de benchmarking en montrant qu’il était possible de retrouver des résultats connus en utilisant la méthodologie prévue pour l’étude (design, émulation, ajustement, tec.) (Cf. section 23).