2 Problématiques méthodologiques spécifiques et solutions possibles
3 Synthèses des problématiques et de leurs solutions
4 Études de cas, retour sur expérience
4.2 Sécurité cardiovasculaire de l’insuline
Il existe de très nombreux exemples où des bénéfices de traitement suggérés par des études observationnelles n’ont pas pu être retrouvés par des essais randomisés. Ces exemples montrent la fragilité potentielle des résultats des études observationnelles et qu’en l’état actuel des pratiques ces études ne permettent pas de produire des résultats au-delà de tout doute raisonnable.
Lorsque ces études observationnelles sont réalisées après les essais cliniques pour confirmer en vraie vie leur résultat, un constat complètement différent est fait avec très peu d’échecs de confirmation. Cette situation s’explique parfaitement par la problématique connue du p hacking dans les études observationnelles [32] . Quand l’étude observationnelle est réalisée en premier, avant les essais cliniques, les retours d’expériences attirent l’attention sur une faible aptitude à estimer correctement le réel bénéfice des traitements. Tandis que lorsque ces études sont réalisées après les essais alors que le résultat à obtenir est connu, elle réussit presque toujours à retrouver le résultat attendu. Le phénomène connu de p hacking provenant de la possibilité d’adapter les choix d’analyse (covariable d’ajustement ou population d’analyse) en fonction des résultats produits pourrait expliquer la bonne performance des études observationnelles lorsqu’elles sont réalisées alors que le résultat à produire est connu. Un biais de publication n’est pas à exclure aussi dans cette situation.
Cela ne concerne pas les situations particulières où l’étude observationnelle pré-déclarée et bien conduite est de fait la meilleure source de preuve envisageable et, certainement, la meilleure contre-mesure à des développements effectués trop rapidement pour apporter une solution temporaire à des situations d’impasse thérapeutique. La discordance avec des essais réalisés antérieurement est alors, évidemment pas espérée, mais clairement attendue.
