Acceptabilité des « nouvelles méthodologies » pour l’évaluation des médicaments

La réflexion sur la fiabilité des études observationnelles pour l’évaluation de l’efficacité et de la sécurité des traitements à débuter au début des années 2000 [67 , 68 , 69] .

Plusieurs études de méta-recherche ont étudié la concordance des résultats obtenus par les données observationnelles par rapport à ceux produits par les essais randomisés comparant les mêmes traitements dans la même situation pathologique. Aucune de ces études ne permet de conclure que les études observationnelles donnent systématiquement le même résultat que les essais randomisés [67 , 68 , 69 , 70 , 71 , 72 , 73 , 74 , 75 , 76 , 77 , 78 , 79 , 80 , 81 , 82 , 83 , 84] . Il faut cependant noter qu’il s’agit ici d’une des études telles que réalisées (avec leurs limites et leurs défauts, aussi bien pour les études observationnelles et les essais randomisés) et ce n’est pas une comparaison, stricto sensu, de la science observationnelle à l’approche expérimentale des essais randomisés.

Trois études par Tanen [85] , Dahabreh [86] et Lonjon [87] ont été regroupée dans une analyse conjointe [72] . Une méta-analyse de la Cochrane est aussi disponible [88]

Les résultats les plus récents montrent qu’en moyenne les études observationnelles pourraient donner les mêmes résultats que les RCT, mais avec une forte variabilité [88 , 89 , 90] . Cependant il convient de remarquer que la mesure de concordance en moyenne sur des tailles d’effet n’est pas appropriée, car les surestimations compensent en moyenne les sous-estimations ce qui peut conduire à une moyenne des différences des estimations égale à zéro alors que dans aucun cas les 2 estimations n’ont été identiques. L’écart quadratique (ou la valeur absolue des différences) est un meilleur paramètre, mais rarement utiliser dans ces études de concordances.

De plus, la possibilité dans certains cas d’une erreur importante fait qu’il n’est pas possible de faire confiance par principe aux résultats des études observationnelles et d’une évaluation cas par cas est bien sûr indispensable.

En oncologie, Kumar et al. [74] ont utilisé les données du National Cancer Database (NCDB) , un registre de cancérologie, pour reproduire les résultats de survie de 141 essais randomisés. En utilisant des analyses réalisées par score de propension, une concordance des hazard ratio n’a été trouvée que dans 64% des cas et celle des p value dans 45% des cas. La conclusion proposée est que l’approche de ”comparative effectiveness” à l’aide des données de registre de cancer produit souvent des résultats discordants avec ceux des essais randomisés. Soni et al. [91] évaluent la concordance des hazard ratio de survie entre des études observationnelles publiées et les essais randomisés correspondants. Aucune corrélation n’est retrouvée entre les hazard ratio des deux types d’études et le taux de concordances des hazard ratio n’est pas trouvé supérieur à celui attendu du fait du hasard. Aucune caractéristique des études observationnelles améliorant cette concordance n’a été retrouvée. Dans 9% des cas, des résultats statistiquement significatifs diamétralement opposés sont observés (Janus effect ) (5% des cas dans le papier par Kumar). Une revue de la littérature portant sur ces résultats en oncologie [70] conclue que l’essai randomisé doit donc rester le standard pour l’évaluation des médicaments en oncologie.

Durant la crise de la COVID-19, une profusion d’étude observationnelle a été publiée (dans des revues ou en préprint). Pour toutes les molécules qui ont échoué ultérieurement à monter un réel intérêt dans des essais randomisés, de nombreuses études observationnelles en faveur de leur efficacité sont disponibles [89] , comme par exemple avec les plasmas de patients convalescents [92 , 93] . Il faut cependant noter que dans la plupart de ces études observationnelles la méthodologie était catastrophique.