2 Introduction à la logique bayésienne
4 Principes des essais bayésiens
5 Études de cas - Exemples de présentation de résultats bayésiens
6 Synthèse des problématiques méthodologiques spécifiques des essais bayésiens
8 Utilisation d’un apriori informatif
L’inférence bayésienne est très souvent présentée avec l’intérêt de pouvoir prendre en compte les connaissances ou les données préexistantes à la réalisation de l’étude.
Dans le champ du développement des médicaments, une phase 3 de confirmation est entreprise à la suite de l’obtention de « bons » résultats lors d’une phase 2 ; les essais randomisés académiques sont réalisés après que des études exploratoires, souvent observationnelles, aient suggéré le potentiel bénéfice d’un traitement. Dans ces situations, il pourrait être envisagé d’utiliser ces résultats préliminaires comme apriori d’un nouvel essai. Ainsi, l’apriori utilisé ne serait pas arbitraire, mais bien dérivé d’observations réelles, considérées comme apportant un « début » d’information sur l’effet du traitement étudié. Le résultat de l’essai bayésien intègrerait ainsi les nouvelles données obtenues dans cette étude avec un effet du traitement apriori estimé lors de la phase 2, entrainant un besoin moindre en termes d’effectif pour la nouvelle étude.
Bien que ne reposant pas sur un choix arbitraire de l’apriori, cette approche soulève néanmoins plusieurs points de discussion.
Actuellement, il est attendu que la preuve de l’intérêt d’un traitement soit apportée par une étude de confirmation, spécialement entreprise pour confirmer les résultats préliminaires. Cette confirmation est indépendante, apportant par elle-même la preuve de l’intérêt du traitement. Cette démarche s’inscrit dans le respect de la démarche hypothético-déductive où la vérification d’une hypothèse porte sur de toutes nouvelles données, complètement différentes que celles ayant fait générer l’hypothèse. Ce principe de confirmation indépendante et de reproductibilité des résultats exploratoires est universellement utilisé en recherche clinique (par exemple dans l’attente d’une réelle validation externe pour un outil pronostique ou diagnostique) et garantit la solidité des résultats obtenus (cf. dossier n° 1).
L’intégration des résultats faisant générer l’hypothèse, et motivant peut-être à elles seules l’intérêt que l’on porte au traitement (dans le cas d’une découverte fortuite par exemple), entraine une rupture de ce principe. La preuve ne sera pas apportée par de toutes nouvelles données indépendantes, mais par un résultat qui dépend en partie des premiers résultats. Le résultat final ne pourra pas être considéré comme une confirmation indépendante et n’apportera pas vraiment la preuve de la reproductibilité des premiers résultats. Il n’y aura pas respect d’un des principes fondamentaux de la démarche scientifique, le principe de reproductibilité des résultats. note n° 5
De plus, dans cette démarche, la nouvelle étude ne sera pas calibrée (en nombre de sujets par exemple) pour être autosuffisante, mais pour simplement apporter le complément d’information nécessaire pour que le résultat final ait la puissance statistique suffisante. Cette nouvelle étude sera ainsi plus petite que celle qui aurait dû être entreprise pour apporter une confirmation indépendante. Dans le cas où l’apriori est déjà par lui-même très en faveur de l’intérêt du traitement, un nombre très faible de sujets dans la nouvelle étude pourraient conduire à un résultat final concluant. Dans ce cas, la nouvelle étude n’apporterait qu’une faible quantité de nouvelle information et serait encore moins une étude de confirmation, car la part des nouvelles données dans le résultat final de l’essai bayésien sera marginale. D’ailleurs, dans ce cas de figure, il y aurait presque un enjeu pour le développeur à faire une nouvelle étude la plus petite possible pour ne pas risquer d’estomper la tendance initiale par de nouvelles données allant dans l’autre sens (si par exemple les données initiales correspondent à une découverte fortuite sans réalité).
Au niveau de l’enregistrement des nouveaux traitements, ce principe de reproductibilité conduit à exiger deux essais de phase 3 avant de statuer sur l’intérêt clinique du traitement (cf. [21] pour un exemple). Cette exigence n’est cependant pas toujours de mise, en particulier avec les grands essais de morbi mortalité en cardiologie ou en oncologie.
Sans passer par l’inférence bayésienne, il est d’ores déjà possible d’intégrer des résultats antérieurs avec ceux d’une nouvelle étude en procédant à une méta-analyse. Si aucune étude n’est concluante par elle-même et que seul leur regroupement permet d’obtenir un résultat en faveur du bénéfice du traitement, ce type de résultat est considéré actuellement comme insuffisant pour adopter le traitement note n° 6 [23 , 24] , sauf peut-être dans le cadre d’une méta-analyse prospective. Il apparait aussi que méta-analyse et essai bayésien basé sur une étude précédente sont deux approches similaires [25] conduisant à des résultats comparables. Un petit avantage de la méta-analyse est de documenter l’hétérogénéité entre les données « apriori » et les données produites par la nouvelle étude et de détecter ainsi d’éventuelles discordances (mais l’approche de l’hétérogénéité en méta-analyse a une faible puissance).
L’autre problème que pose la réalisation d’essai bayésien basée sur les résultats d’une étude précédente est celui du risque de canonisation des résultats faux positifs [26] , produits par une découverte fortuite issue d’études purement exploratoires par exemple. En effet, dans ce cas, le résultat qui déclenchera la démarche peut être simplement artéfactuel, sans réalité (cf. dossier n°1 et section 3.2 du livre blanc). La réalisation de l’essai bayésien sera donc entièrement conditionnée par le résultat obtenu (sans ce résultat, personne n‘aurait peut-être fait cette hypothèse note n° 7 ). Comme l’apriori est déjà très en faveur du résultat, le résultat de l’essai ne sera que la répercussion assez directe de celui-ci et sera donc automatiquement en faveur du premier résultat. Si l’essai bayésien réalisé est petit, il ne sera pas en mesure de récuser les premières données et le résultat final, à posteriori, sera conforme au premier résultat d’où le processus de canonisation de faux positifs.
Même en dehors des situations à fort risque de découverte fortuite, il arrive fréquemment qu’une étude de confirmation indépendante ne reproduise pas de premiers résultats positifs (cf. la crise de la reproductibilité des résultats [28 , 29] [30] de plus en plus discutée dans de nombreux champs de la recherche scientifique note n° 8 ). Par exemple, une phase 3 de confirmation sur 2 est un échec alors que les phases 2 précédentes avaient été suffisamment positives pour conduire à la réalisation de ces études de confirmation [31] .
Il a aussi été montré empiriquement que les résultats préliminaires de grande taille n’étaient pas prédictifs de la réalité de l’effet et des résultats des études de confirmation entreprises pour les confirmer [32] . Pourtant l’intuition pourrait faire penser que des résultats de grande taille (very large effect ) ne peuvent pas provenir de biais ou de du hasard, ce qui garantit leur fiabilité. Utilisés comme apriori d’un essai bayésien, ces effets de grandes tailles conditionneront fortement les résultats finals malgré leur faible fiabilité initiale, exposant au même risque de canonisation des faux positifs.
Le recours à une démarche bayésienne basée sur des apriori informatifs issus d’études initiales entrainerait l’abandon de facto d’un des piliers fondamentaux de la recherche des preuves scientifiques, sans les compenser.
L’approche bayésienne est aussi de plus en plus utilisée pour faire des réanalyses post hoc de résultat exploratoire controversé [33] .
La pratique de réanalyse bayésienne post hoc d’essais non concluants à l’aide d’un apriori informatif commence à se rependre. L’essai TAILOR-PCI n’a pas permis de conclure à l’intérêt du génotypage pour guider le choix de l’antiagrégant plaquettaire après PCI avec un risque relatif sur les MACE de 0.78 (95% CrI, 0.55–1.07). La réanalyse à l’aide d’un apriori informatif débouche sur une probabilité à posteriori de 99% (RR, 0.69 [95% CrI, 0.57–0.84]) [21] utilisée pour conclure à l’intérêt de l’intervention.
L'idée est globalement de faire des analyses de sensibilité (tipping point analysis ) pour montrer que ce résultat se maintient même en utilisant des aprioris arbitraires très pessimistes (informatifs et contre l’hypothèse soulevée par le résultat). L’objectif de cette approche est de dire que, même si « l’on ne croit pas au résultat », celui-ci doit cependant remporter la conviction, car il résiste aux hypothèses les plus pessimistes. Ce raisonnement est cependant spécieux, car la réanalyse bayésienne ne repose sur aucun élément de confirmation factuelle, l’apriori étant purement arbitraire. Les résultats initiaux de très grande taille non retrouvés par les études de confirmation (cf. supra) seraient robustes dans de telles réanalyses, ce qui montre que seules de nouvelles données indépendantes permettent d’éprouver avec fiabilité des résultats inattendus de grandes tailles.
Le cas de la réduction de mortalité totale observée avec l’empagliflozine dans le diabète de type 2 dans l’essai EMPAREG OUTCOME. Ce résultat est inattendu, la mortalité étant un critère purement exploratoire et aucun élément du rationnel présenté n’oriente vers une telle possibilité. Une réanalyse bayésienne montre cependant que ce résultat se maintient même sous une hypothèse apriori très pessimiste [33] . Cependant le résultat d’EMPAREG n’a jamais était retrouvé dans 3 autres essais subséquents, avec les 3 autres molécules de la classe, remettant ainsi en cause la conclusion de la réanalyse bayésienne (sauf à faire l’hypothèse que seule l’empagliflozine apporte une réduction de mortalité qui est donc indépendante du mécanisme de classe, hypothèse qui serait alors élaborée entièrement de manière post hoc, uniquement d’après les résultats observés et qui n’a jamais était évoqué apriori avant d’avoir connaissance de ces 4 résultats !).
[5] https://en.wikipedia.org/wiki/Reproducibility
[6] ICH E9 mentionne l’intérêt de la méta-analyse pour résumé les résultats des études, mais pas pour apporter la preuve de l’intérêt 22.
[7] Comme dans le cas du canakinumab et la prévention des cancer du poumons [27.]
[8] https://en.wikipedia.org/wiki/Replication_crisis
