8.2 Synthèses des problématiques et de leurs solutions

Problématique méthodologique et particularité spécifique à la nouvelle méthodologie.

Solution spécifique à apporter avec cette nouvelle méthodologie pour garantir l’obtention du même degré de certitude qu’avec la méthodologie classique

Nécessité d’un raisonnement contrefactuel pour identifier l’effet propre du traitement et mesurer son importance en raison de la variabilité du vivant (inter et intra sujet)

Étude observationnelle analytique (comparative) type étude de cohorte ou étude cas-témoins intégrant un groupe contrôle contemporain apportant le contrefait, s’inscrivant dans une approche d’émulation d’un essai cible

Biais de sélection

Nombreuse possibilité de biais de sélection dans les études observationnelles (temps d’immortalité, ajustement ou restriction sur un collider, biais protopathique, etc.)

Utilisation d’un design d’émulation d’un essai cible, synchronisation des débuts de suivi entre les 2 groupes

Ajustement après modélisation du réseau de causalité (DAGs) pour éviter l’ajustement sur les colliders

Cotation par ROBINS -I en low risk of bias sur cette dimension

Biais de confusion majeur lié à la nature observationnelle (biais par indication, channeling biais)

Prise en compte de tous les facteurs de confusion dans l’analyse (quel que soit la méthode). Cela nécessite 1) d’identifier tous les facteurs déterminant le critère de jugement considéré pour établir le graphique de causalité (DAGs) et déterminer les réels facteur de confusion et 2) pouvoir prendre en compte toutes ces covariables identifiées

Démontrer l’absence de biais de confusion résiduelle (contrôle négatif ou positif, analyse quantitative de biais)

L’absence de randomisation ne permettant d’obtenir par design une estimation causale de l’effet traitement, doit être compensée par une approche d’inférence causale.

Biais de réalisation

Aucun contrôle par design de ce biais dans les études observationnelles

Cotation par ROBINS -I en low risk of bias sur cette dimension

Biais de suivi

Aucun contrôle par design de ce biais dans les études observationnelles

Cotation par ROBINS -I en low risk of bias sur cette dimension

Biais d’attrition

Aucun contrôle par design de ce biais dans les études observationnelles

Cotation par ROBINS -I en low risk of bias sur cette dimension

Estimation de l’effet traitement correspond à ce que la recommandation future du traitement produirait comme changement dans le devenir des patients (compte tenu de tout le reste de la stratégie thérapeutique)

Analyse en intention de traiter

Risque de conclure à tort à l’intérêt du traitement du fait de l’erreur statistique alpha (de premier type)

Plan de contrôle du risque alpha global

Définition des comparaisons inférentielles (tests qui peuvent conduire à la conclusion à l’intérêt du traitement et donc à la recommandation de son utilisation)

Multiplicité des comparaisons pouvant amener à conclure à l’intérêt du traitement ; multiplicité induisant une inflation du risque alpha global

Plan de contrôle du risque alpha global (non prise en considération de la signification nominale, non-présentation des p values non inférentielles pour éviter les surinterprétations des résultats exploratoires sans contrôle du risque alpha global)

Fraude des investigateurs

Pour les études prospectives : Monitorage de terrain, bonnes pratiques cliniques, recherche systématique de la fraude lors de l’analyse statistique, exclusion des centres en cas de suspicion de fraude

Pour les études sur bases : non applicable

Fraude au niveau de l’investigateur principal (sponsor, réalisation de l’étude) possible (cf. Surgisphere)

Système d’assurance qualité (procédure opératoire standard), traçabilité, audit interne et externe (disponibilité des données)

Découverte fortuite, fouille de données (data dredging, data milking)

Réalisation d’étude observationnelle de confirmation respectant pleinement la démarche hypothético déductive avec un objectif fixé a priori certifié par les investigateurs.

Exclusion des résultats post hoc, ou exploratoire de la prise de décision

Respect de la démarche hypothético déductive

Formulation des hypothèses a priori , garantie soit 1) par une démarche prospective ou 2) certifiée par les investigateurs dans le protocole

P hacking (modification de l’analyse statistique jusqu’à l’obtention des résultats voulus) fréquent dans les études observationnelles

Définition d’un protocole fixant les critères de jugement et les grandes lignes de l’analyse

Définition d’un plan d’analyse statistique (SAP) précis avant que les données (même parcellaires) soient disponibles et réalisation de l’analyse statistique en stricte conformité avec ce SAP (démarche certifiée par les investigateurs)

Selective reporting (présentation, publication au niveau de l’étude que des résultats positifs permettant de faire la conclusion recherchée)

Protocole établi a priori, enregistrement dans un registre

Vérification des résultats mis en avant par rapport au protocole

Biais de publication

Risque important avec les études observationnelles rétrospectives compte tenu de la relative facilité de les multiplier

Difficile à exclure. Il faudrait avoir connaissance de toutes les études rétrospectives entreprises sur la même question

Garantie apportée par le dossier que toutes les études observationnelles entreprises sont rapportées (solutionnable que par des obligations réglementaires)

Point majeur de dégradation du degré de certitude apporté par les études observationnelles

Pertinence clinique

Utilisation :

• D’un critère de jugement clinique (ou d’un surrogate démontré)
• D’un comparateur loyal et représentant le traitement standard du moment où l’étude est analysée pour intégrer le nouveau traitement dans la stratégie thérapeutique
• D’une population cible recherchée correspondant à la totalité des patients relevant du traitement évalué

Bénéfice complètement compensé par des effets délétères de manière quantitative ou qualitative

Évaluation de la safety avec la même précision et robustesse que l’efficacité

Prise de décision basée sur la balance bénéfice risque = bénéfice clinique (et non pas seulement sur l’efficacité ou sur la sécurité de façon isolée et séparée)

Spin de conclusion (conclusion positive en faveur de l’intérêt du traitement dans une étude en réalité non concluante)

Ne pas lire les conclusions, ne regarder que les résultats et la méthode

Manque de transparence des rapports ou des publications ne permettant pas de voir les limites des résultats

Rapport exhaustif (pas de standardisation actuellement)

Guide EQUATOR (STROBE) garantissant l’informativité des publications pour disposer de tous les éléments nécessaires à la l’évaluation critique de l’étude