Comparaisons à un groupe contrôle externe

La recherche de la source de données s’effectue après avoir élaboré le protocole de l’étude de comparaison externe, car celui-ci conditionne les données nécessaires pour l’étude [87] . Choisir arbitrairement une source de données avant de connaitre les variables dont il va être nécessaire de disposer pour les critères de jugement, les critères de sélection des patients, les facteurs de confusion, les contrôles négatifs, etc. expose à ce que l’étude présente, in fine, de nombreuses limites invalidant son interprétation causale. De même, choisir une source de données, sans connaitre le nombre de sujets nécessaire pour garantir la puissance aux comparaisons à réaliser, expose à réaliser l’étude avec une source de données insuffisante et, par conséquence, à obtenir des résultats non statistiquement significatif conduisant à une étude non concluante ne pouvant apporter la preuve recherchée du bénéfice clinique du traitement étudié.

Toutes les sources de données ne permettent pas de faire une étude donnée. Si une étude est forcée d’être réalisée avec des données inadaptées, insuffisantes ou de mauvaise qualité, le protocole qui aurait permis d’obtenir des résultats fiables ne pourra pas être réalisé et l’étude ne pourra pas produire des résultats fiables et recevables pour démontrer le bénéfice clinique du traitement étudié. Au total la réalisation de cette étude aura été un gaspillage des ressources.

Si cette comparaison externe est effectuée de manière post-hoc après que les résultats de l’étude monobras (ou du RCT) soient connus, il est indispensable de montrer que le choix de la source de données a été effectué, indépendamment des résultats produits, uniquement sur la base de son adéquation avec l’étude qu’il était nécessaire de réaliser.

Ainsi survient, après la construction du protocole, une étape d’inventaire des sources de données potentiellement adaptées pour le groupe contrôle externe envisagé. Cette étape dresse une liste, la plus exhaustive possible suivant une démarche prédéfinie de revue systématique de la littérature et des autres ressources à même d’identifier des sources de données [64] [45] . Puis chaque source de cette liste est méthodiquement passée en revue afin de déterminer son adéquation à l’étude en termes d’accès aux données, de qualité, de disponibilité des variables nécessaires, etc.

Il est extrêmement important que ce processus de qualification de la source des données soit soigneusement tracé/transparent pour pouvoir garantir que le choix définitif n’a pas été effectué en fonction des résultats produits, mais bien uniquement sur l’adéquation des données à l’étude envisagée [88] . L’enjeu est de pouvoir faire accepter aux agences, comme l’HAS [44] ou le NICE [64] , un groupe contrôle construit a posteriori.

Indépendamment de ce point, l’élaboration du protocole et du plan d’analyse statistique avant le choix des données permet de garantir l’absence de HARKing et de p hacking indispensable pour faire accepter les résultats (cf. section 10).

Lorsque les données adaptées au protocole et pouvant procurer le nombre suffisant de patients sont identifiées, le protocole peut être complété pour intégrer les parties spécifiques à ces données : description de leur origine, de la validation de leur qualité, des algorithmes phénotypiques, etc.

La question du stade auquel le protocole doit être enregistré se pose ici (cf. section 10.3). L’enregistrer avant le choix des données oblige à procéder à sa modification par amendement lorsque les données auront été choisies, mais cette démarche est la plus transparente et donc adaptée pour garantir l’absence de HARKing et de p-hacking.

Cette démarche de qualification des données est maintenant bien codifiée par différents textes de recommandation comme PRINCIPLED [87] , the Structured Process to Identify Fit-For-Purpose Data (SPIFD, SPIFD-2) [89] [90] , le framework RWE (ECD9) du NICE (section « Choosing fit-for-purpose data ») [64] ou un guideline plus ancien publié par Hall et al. [91] .

Durant cette phase de qualification de la source de données, des analyses sont souvent nécessaires, par exemple, pour connaitre le nombre de sujets potentiellement éligibles, le taux de données manquantes, etc. Il est impératif qu’aucune analyse inférentielle ne soit réalisée durant ces analyses [87] et que cela puisse être prouvé (cf. section 10).

Tableau 11 – Mentions concernant la recherche et la qualification des données dans les principaux guides des agences

Agence	Document	Page	Extrait
EMA	Reflection paper on use of real-world data in non-interventional studies to generate real-world evidence - Scientific guideline	-	NA
MHRA	MHRA draft guideline on the use of external control arms based on real-world data to support regulatory decisions	§38	If the ECA is identified after the clinical trial has finished, it will be important to adequately justify the choice of external control and how it was chosen from amongst all possible other data sources. In particular, as the results of the clinical trial are already known, it will be important to demonstrate that the decision was not result driven, i.e., a dataset with particularly poor results was chosen for comparison when another dataset exists for the same population with better results.
FDA	Considerations for the Use of Real-World Data and Real-World Evidence to Support Regulatory Decision-Making for Drug and Biological Products	5	Sponsors should describe in the study protocol, or as an appendix to the protocol, the data sources evaluated when designing the study, including results from feasibility evaluations or exploratory analyses of those data sources. Sponsors should provide a justification for selecting or excluding relevant data sources from the study. Sponsors describe how the choice of the final data sources, study design elements, and analytic approaches aligns with the research question of interest and that the data sources, study design elements, and analytic approaches were not selected to favor particular study findings.
FDA	Real-World Evidence: Considerations Regarding Non-Interventional Studies for Drug and Biological Products Guidance for Industry	§D, page 6	Sponsors should demonstrate the appropriateness of the proposed data source(s) to address specific hypotheses and research questions. Given that data sources used in a non-interventional study design are often generated for purposes other than research, it is important that sponsors understand the potential limitations of such data sources and determine whether those limitations can be addressed or if another data source should be pursued.
FDA	Considerations for the Design and Conduct of Externally Controlled Trials for Drug and Biological Products	4	access to and evaluation of relevant data sources or databases are important steps in designing a control arm for externally controlled trials and in evaluating the trial’s feasibility. Sponsors should document and describe in the trial protocol all data sources accessed when designing the control arm of the trial and the results of any feasibility evaluations or exploratory analyses. Sponsors should provide a justification for selecting or excluding relevant data sources and demonstrate that the choice of a final analytic dataset for the control arm aligns with the research question of interest and was not chosen to favor particular study results.
HAS	Rapid access to innovative medicinal products while ensuring relevant health technology assessment. Position of the French National Authority for Health [44]	2	To avoid a post hoc selection, the choice of an external control must be done prior to conducting the trial, after a well-performed systematic search. It must fit the standard of care. The retained external source of data must be chosen because it fits best the research question and not because it would arbitrarily favour the treatment of interest.
NICE	NICE real-world evidence framework [64]	35	We encourage developers to identify candidate data sources through a systematic, transparent and reproducible search, including: …