2 TL ; DR - Guide d’évaluation des comparaisons à un groupe contrôle externe
3 Les études de comparaison externe, de quoi s’agit-il ?
5 Les problématiques méthodologiques soulevées par les comparaisons externes
6 Les comparaisons externes sont des études observationnelles
7 Position des agences de régulation et de HTA
8 De la nécessité d’avoir des preuves de l’intérêt cliniques des nouveaux traitements
9 Les sources de données utilisables
10 Les problématiques liées à l’aspect rétrospectif de ces études
12 Démarche hypothético déductive
13 L’inférence causale et les hypothèses sous-jacentes
15 Les techniques d’analyses statistiques
16 Le diagnostic d’absence de biais de confusion résiduel
18 Identifications des patients dans la source de données
20.1.2 Origine des erreurs de classification
20.2 Complétudes, exhaustivité
20.3 Informativité, pertinence (relevance )
20.3.2 Critères d’éligibilité (de sélection des patients de la population visée)
20.5 La validation des données
20.6 Recommandations pour la constitution des sources de données
21 Les outils d’évaluation du risque de biais
22 L’émulation d’un essai cible
23 Le benchmarking et les contrôles positifs
24 Analyses de sensibilité , analyses quantitatives du biais
26 Contrôle du risque alpha global
Ces erreurs peuvent être le fruit d’erreurs de saisie ou d’erreurs d’extraction par exemple lors d’une « chart review » ou lors de l’utilisation d’un système d’IA pour extraire de l’information structurée d’un dossier médical électronique. Les erreurs pures de saisie ou d’extraction sont aléatoires (ne dépendent ni de la valeur elle-même ni du traitement). Dans une étude observationnelle classique elles sont symétriques (affectant de la même façon les deux groupes) et non informatives. Elles ne peuvent pas induire un biais en faveur d’une fausse différence, cependant, elles peuvent induire un biais vers l’absence de différence. Mais dans une comparaison externe, ces erreurs aléatoires n’ont lieu que dans le groupe contrôle et non pas dans le groupe traité et conduisent à des erreurs asymétriques.
Ces erreurs peuvent aussi être une déformation volontaire de la réalité, principalement dans les bases de données de remboursement (claims databases , type SNDS ou autres). En effet la finalité de la saisie dans ces bases pour les organismes de soins est d’obtenir un payement suivant une nomenclature prenant ne compte les pathologies, les actes et les traitements réalisés. Il y a donc souvent une optimisation, par exemple, des diagnostics saisis en fonction de la valeur du remboursement prévu dans la nomenclature ce qui déforme les informations enregistrées par rapport à la réalité. Cette déformation peut aussi survenir sur les critères qui conditionnent pour le payeur le remboursement ou non d’un traitement.
Il a été observé [211] qu’un changement de tarification Medicare, liant le remboursement des réparations de hernie à un seuil de 3 cm, a entraîné une chute soudaine des hernies codées comme « < 3 cm ». Comme les caractéristiques des patients n’ont pas changé, cette rupture suggère une adaptation du codage plutôt qu’un changement dans la présentation clinique de la pathologie. Les auteurs soulignent ainsi que des incitations financières pourraient influencer la manière dont les médecins mesurent ou déclarent certaines variables. Ce phénomène dégraderait la précision des bases administratives, qui deviennent moins fiables pour la recherche ou l’évaluation des pratiques.
Il faut aussi noter que les biais de classification ou de mesure (les biais d’information) ne proviennent pas que d’erreurs de valeur enregistrée. La valeur peut être exacte, mais elle ne reflète pas ce qu’elle est censée refléter ou la variable pour laquelle elle est utilisée.
Une étude comparant la fréquence de survenue des hémorragies majeures entre un nouvel anticoagulant et la warfarine a été réalisée sur une base de données administrative. Pour le critère de jugement, les hospitalisations pour hémorragie ont été utilisées comme proxy des hémorragies majeures (information non disponible dans le thesaurus de codage des diagnostics). L’étude a montré à tort un surcroit d’hémorragie avec le nouvel anticoagulant du fait d’un biais de mesure, car les médecins traitants ont plus fréquemment hospitalisé les patients qui présentaient un saignement mineur dans le groupe du nouveau produit que dans le groupe contrôle, car ils ne disposaient pas d’un marqueur du « niveau d’anticoagulation » comme l’INR avec la warfarine et avaient moins d’expérience avec le nouveau produit. Le biais de mesure du critère de jugement est donc ancré dans la genèse de l’information « hospitalisation pour hémorragie » (qui, à gravité du saignement identique, est plus fréquent dans le groupe du nouvel anticoagulant) et ne provient pas d’une erreur de saisie ou de codage dans la base de données administrative.