2 TL ; DR - Guide d’évaluation des comparaisons à un groupe contrôle externe
3 Les études de comparaison externe, de quoi s’agit-il ?
5 Les problématiques méthodologiques soulevées par les comparaisons externes
6 Les comparaisons externes sont des études observationnelles
7 Position des agences de régulation et de HTA
8 De la nécessité d’avoir des preuves de l’intérêt cliniques des nouveaux traitements
9 Les sources de données utilisables
10 Les problématiques liées à l’aspect rétrospectif de ces études
12 Démarche hypothético déductive
13 L’inférence causale et les hypothèses sous-jacentes
15 Les techniques d’analyses statistiques
16 Le diagnostic d’absence de biais de confusion résiduel
18 Identifications des patients dans la source de données
21 Les outils d’évaluation du risque de biais
22 L’émulation d’un essai cible
23 Le benchmarking et les contrôles positifs
24 Analyses de sensibilité , analyses quantitatives du biais
§ Comparaison des logiques sous-jacentes aux 2 approches
24.2 Analyse quantitative du biais
26 Contrôle du risque alpha global
L’analyse quantitative des biais vise à estimer numériquement l’impact potentiel des biais inhérents aux études observationnelles, afin d’évaluer la robustesse des résultats et la plausibilité d’explications alternatives à l’effet observé du médicament [257] [170] [258] . Cette approche s’applique aussi aux comparaisons externes de facto [169] [172] .
Dans quelle mesure les biais (confusion, sélection, classification, etc.) pourraient-ils expliquer, à eux seuls, l’effet observé ?
L’idée clé de l’analyse quantitative des biais est de quantifier l’impact potentiel d’un biais sur le résultat de l’étude : “Si ce biais existe, de quelle ampleur faudrait-il qu’il soit pour expliquer entièrement (ou partiellement) l’effet observé ?”. Une analyse de point de bascule (tipping point analysis ) peut-être réalisée en faisant varier numériquement l’hypothèse de biais et en regardant comment l’estimation de l’effet change et, à quel point, la conclusion qualitative change.
Les analyses quantitatives du biais reviennent à explorer si des explications alternatives aux résultats prenant la forme de biais sont plausibles.
Si des hypothèses de biais faibles ou réalistes suffisent à annuler l’effet, les résultats de l’étude apparaitront fragiles. Par contre si seules les hypothèses très fortes et donc peu plausibles modifient la conclusion, les résultats sont robustes et leur crédibilité augmente.
Cette approche a d’abord été appliquée au biais de confusion (cf. section 16.2), entre autres avec la E value (cf. section 16.2.2). Elle est généralisable à d’autres biais potentiels comme les biais de classification des expositions ou des critères de jugement.
Ainsi, l’analyse quantitative des biais permet d’aller au-delà du simple “discussion des biais”. Elle permet de passer d’une simple analyse qualitative en une estimation chiffrée de la sensibilité du résulta aux biais. Elle permet numérique de répondre à la question : “À quel point la conclusion de l’étude dépendent-elles d’hypothèses non vérifiables ?”.
Les limites de l’analyse quantitative des biais résident dans la difficulté de prendre en compte simultanément toutes les sources potentielles de biais pouvant affecter l’étude et dans l’arbitraire affectant l’évaluation de la plausibilité des tailles de biais remettant en cause le résultat (difficultés d’interprétation des tipping point analyses en général).
La réalisation de ces analyses (sensibilité, analyse quantitative de biais) dans un cadre bayésien est en cours d’élaboration [259] . Cette approche permet de prendre en compte l’idée a priori que l’on peut avoir sur l’importance du non-respect des hypothèses de validité de l’inférence effectuée par l’étude.
Principe général de l’analyse quantitative de biais, application au biais de confusion
Soit un facteur pronostic du critère
de jugement qui multiplie le risque par
. Soit
le risque
d’événements chez les patients qui n’ont pas le facteur pronostic C (patients
C-) et
le risque
chez les patients qui présente le facteur pronostique (patients C+). Si dans un
échantillon la proportion de patients C+ est p, la proportion de patients C-
est donc 1-p, la fréquence de l’événement dans l’échantillon est :

Si maintenant dans le groupe traité
(monobras) la proportion de patients C+ est
et celle dans
le groupe contrôle externe est
, la
fréquence des événements observée dans le groupe traité sera
et
dans le
groupe contrôle.
Le risque
des C- est
identique dans ces deux groupes du fait de l’ajustement qui a porté sur tous
les facteurs de confusion sauf le facteur C.
Sous l’hypothèse nulle d’absence de
tout effet du traitement, le risque d’événement est donc le même dans les deux
groupes après ajustement et le risque relatif ajusté vrai est
.
En revanche, en raison de la non-prise en compte du facteur C, le risque relatif observé malgré l’ajustement est :

Ce rapport est donc la taille du
biais induit par la différence entre les deux groupes de la proportion de
patients porteurs d’un facteur pronostique non pris en compte et qui augmentent
le risque de l’évènement critère de jugement par un risque relatif
.
Par exemple en prenant
=2,
et
, sous
l’hypothèse nulle l’étude donnera un risque relatif de 0.86. Si le risque
relatif effectivement obtenu est supérieur à cette valeur, par exemple 0.90, il
peut être entièrement expliqué par un tel biais de confusion et ne pourra pas être
considéré comme robuste, à l’abri d’un biais. En revanche si le résultat est un
risque relatif de 0.50, ce résultat ne peut pas être entièrement dû au biais
modélisé. À lui seul cette analyse quantitative de biais ne permet pas
d’écarter tout risque de biais, car elle n’a porté que sur un seul des biais
qui peuvent affecter une telle étude, mais elle contribue à documenter en
partie la robustesse du résultat.