#M013 Critères de jugements négatifs: une méthode d’évaluation de la confusion résiduelle

De quoi parle-t-on ?

De l'article « Comparative effectiveness of third doses of mRNA-based COVID-19 vaccines in US veterans » Dickerman, B.A., Gerlovin, H., Madenci, A.L. et al. . Nat Microbiol 8, 55–63 (2023). https://doi.org/10.1038/s41564-022-01272-z

Pourquoi a-t-on choisi cet article ?

Dans un précédent blog (#M006 Emuler un essai clinique randomisé à partir des données observationnelles, une bonne idée ?)  on vous a exposé le principe de l’émulation d’essai cible qui est une méthode rigoureuse visant à structurer la formulation d’une question causale à partir de données observationnelles.
Dans ce blog, nous allons voir une analyse de sensibilité permettant d’argumenter en faveur ou en défaveur d’un biais résiduel dans l’analyse : les « negative outcomes» (critères de jugement négatifs); appliqué ici dans un contexte d’émulation d’essai cible. Nous présenterons d’abord les aspects théoriques puis une application avec un article.

Ce qu’en pense la SFPT

Pour répondre à une question causale les essais randomisés restent le gold standard. Cependant dans certaines situations une randomisation est impossible ou encore l’urgence de la question n’est pas compatible avec le montage et le recrutement d’un essai. L’émulation d’essai cible peut donc être un moyen de répondre à une question causale à partir de données observationnelles. Les critères de jugement négatifs sont des critères de jugement avec une structure de confusion supposée similaire à celle du traitement et du critère de jugement principal. Sous cette hypothèse après ajustement, s’il existe un effet du traitement sur le critère de jugement négatif cela renforce la possibilité d’une confusion résiduelle.
L’utilisation et le choix de critères de jugement négatifs dans une étude observationnelle nécessitent néanmoins une connaissance approfondie du domaine, mis en graphique par les DAG. De plus, l’absence de signal ne permet pas formellement d’éliminer la possibilité de toute confusion résiduelle qui est impossible. Cependant ce type d’analyse de sensibilité est un argument scientifique en faveur ou défaveur de l’hypothèse de confusion résiduelle permettant de débattre rationnellement sur notre confiance ou non en la causalité d’un effet estimé par des données observationnelles.

Pour approfondir :

Critère de jugement négatif : la théorie

Dans la théorie de l’inférence causale, un facteur de confusion (C) est une cause commune entre le traitement (A) et le critère de jugement (Y). Et si les distributions de ce facteur sont différentes entre les groupes de traitement alors il y a un biais de confusion dans l’estimation de l’effet causal du traitement A sur Y. Cela peut se représenter sous la forme d’un DAG (directed acyclic graph) suivant :

DAG 1 : le lien A-Y passe aussi par C créant une possibilité pour un biais de confusion

La randomisation gère par design ce biais car la seule cause possible de l’initiation du traitement sera la randomisation et donc le hasard. Dans des études observationnelles une multitude de facteurs connus, inconnus ou non mesurables peuvent influer sur l’initiation d’un traitement et le critère de jugement. De nombreuses méthodes statistiques ont été développés pour équilibrer les distributions des facteurs de confusion connus. Il peut donc rester des facteurs de confusions, non connus (U) ou insuffisamment pris en compte et cela peut biaiser l’estimation de l’effet traitement (DAG n°2) :

DAG 2 : ici le lien entre A et Y peut passer par U qui n’est pas pris en compte dans l’analyse, mais ne passe pas par C qui est correctement pris en compte dans l’analyse.

L’idée d’un critère de jugement négatif (N) est de trouver un critère de jugement qui a la même structure de confusion que notre critère de jugement principal avec comme seule différence que le traitement ne puisse pas agir directement dessus (DAG 3).

DAG 3 : c’est le DAG 2 avec un ajout du critère de jugement négatif N. On ne retrouve pas de flèche directe entre A et N signifiant une absence d’action causale directe entre le traitement et le critère de jugement négatif. Cependant A et N seront associés par la confusion non mesurée (U).

Sous l’hypothèse de notre DAG3, et que l’on a ajusté sur l’ensemble des facteurs de confusions (C) et qu’il n’existe pas de confusion résiduelle importante, alors il ne doit pas y avoir d’association entre le traitement A et le critère de jugement négatif N. A l’inverse si on retrouve un effet du traitement A sur le critère de jugement négatif N, alors cela remet en question l’ajustement pour l’effet causal entre le traitement A et le critère de jugement principal Y.

Pour aller plus loin voici une suggestion d’article : Lipsitch M, Tchetgen Tchetgen E, Cohen T. Negative Controls: A Tool for Detecting Confounding and Bias in Observational Studies. Epidemiology. 2010;21:383‑8. https://doi.org/10.1097/ede.0b013e3181d61eeb

Application à l’article :

La question causale de cet article est : « quelle troisième dose de vaccin entre le BNT162b2 et le mRNA-1273 est la plus efficace pour réduire le risque d’hospitalisation en lien avec une infection par COVID-19 ? ». Pour répondre à cette question les auteurs ont utilisé des données médico-administratives de la base de données US Department of Veterans Affairs. Ils ont émulé un essai cible comparant l’efficacité de ces 2 vaccins (voir la supplementary Table 3 pour le détail de l’émulation). La population éligible était des vétérans de l’armée américaine de plus de 65 ans ou entre 18-65 ans et avec un risque élevé de COVID-19 sévère. Les interventions (A) comparées étaient une 3^ième dose de vaccin BNT162b2 ou mRNA-1273 au moins 6 mois après une seconde dose de vaccin mRNA. Les sujets ont été inclus pendant 2 périodes distinctes où des variants de COVID-19 différents étaient prépondérants (Omicron et Delta). Un des critères de jugement d’intérêt (Y) était une hospitalisation en lien avec la COVID-19, dans les 16 semaines après l’injection.

Pour gérer la confusion à baseline, un appariement (matching) des sujets a été réalisé sur la date de vaccination de la 2^ième et 3^ième dose et sur un ensemble de variables de confusion (C) : sexe, âge, origine ethnique, lieu de résidence, zone géographique, nombre de tests COVID -19 dans l’année avant inclusion. L’appariement permet ici de ne pas faire d’hypothèse sur la forme fonctionnelle entre les variables et le traitement (ou du critère de jugement).

Voici la courbe de Kaplan Meier sur les hospitalisations en lien avec le COVID-19 (Y).

Cela correspond à un risque relatif à 16 semaines de 1.64 [95%IC 1.27-2.79]. Cependant, malgré les efforts d’ajustement, il peut y avoir de la confusion résiduelle avec des variables non prises en compte dans l’appariement des sujets (U).

Dans cette étude les auteurs ont utilisé deux critères de jugement négatifs (N) :

• Le risque d’apparition de symptômes de COVID-19 dans les 7 jours. Il est supposé que l’effet de la vaccination passe par une activation immunitaire ne permettant pas une protection précoce. S’il existe une différence entre les deux groupes, malgré l’ajustement alors c’est qu’il y a de la confusion résiduelle. Les courbes de Kaplan Meier ne retrouvent pas d’arguements en faveur d’un biais de confusion résiduelle :

• Le risque de décès non en lien avec la COVID-19 durant la période de suivi. De nouveau les auteurs font l’hypothèse que la vaccination ne doit pas avoir un effet sur les décès non en lien avec la COVID-19. De plus ils font l’hypothèse qu’il peut exister des facteurs de confusions en commun entre le décès en lien et non en lien avec la COVID-19.
  Les courbes de Kaplan-Meier ne retrouvent pas non plus d’arguments en faveur d’un biais de confusion résiduelle :

Le choix de ces critères de jugement négatifs est ici pertinent et permet d’adresser deux biais de confusion importants dans cette étude : 1/ les sujets ont-ils la même probabilité d’être infecté précocement par la COVID-19 après vaccination ? 2/ Les sujets ont-ils le même risque de décéder pendant le suivi de l’étude ?

Les résultats négatifs sur ces 2 critères de jugements sont donc rassurants et permettent de juger de la comparabilité des groupes sur ces points importants pour l’interprétation causale du résultat. Il faut néanmoins souligner qu’il n’est pas précisé dans cette étude si le choix de ces critères de jugement a été fait a priori au moment du design de l’étude ou de façon post hoc, ce qui diminuerait leur validité. Nous verrons dans un prochain blog quoi faire lorsque ces critères de jugement négatifs sont en fait positifs et comment calibrer l’estimation de l’effet d’un traitement en les prenant en compte.