2 Problématiques méthodologiques des études mono-bras
3 Des études mono-bras aux essais à contrôle externe
4 Problématiques méthodologiques des comparaisons externes
6 Les conditions d’acceptabilité des comparaisons externes
6.1 La comparaison externe doit être formalisée
6.2 La comparaison externe doit être clairement explicitée
6.3 Il doit être possible d’écarter un choix arbitraire de la référence de comparaison, destiné à favoriser le traitement évalué
6.4 Les ajustements effectués doivent permettre d’écarter un biais de confusion.
6.5 La référence de comparaison doit être cliniquement pertinente et loyale
6.6 Les revues systématiques doivent être de bonne qualité
6.8 Le résultat suggéré par la comparaison externe doit être cliniquement pertinent
Il doit être possible d’écarter un choix post hoc de la base de la comparaison externe, drivé par la valeur obtenue par l’étude mono-bras, par un choix clairement effectué avant la date de prise de connaissance des résultats (analyse intermédiaires ou analyse finale).
Il doit être démontré que la référence finalement retenue n’est pas celle la plus favorable à la mise en évidence du bénéfice du traitement évalué. Fréquemment il existe plusieurs études pouvant servir de base à la comparaison externe. Une forte variabilité des résultats entre études est aussi fréquemment rencontrée. Il est donc possible de choisir, arbitrairement, parmi toutes les études disponibles, celle ayant donné les pires valeurs, ce qui in fine favorisera le plus le nouveau traitement. Ce problème existe aussi si ce choix est fait a priori , avant d’avoir les résultats de la mono-bras, en prenant le groupe contrôle avec les plus mauvais résultats.
La seule possibilité permettant d’exclure formellement une telle démarche est de disposer de la revue systématique de toutes les études pouvant potentiellement servir de base de comparaison. Ensuite, l’étude retenue doit être celle la plus défavorable au nouveau traitement, dans le but d’être conservateur. Une attitude conservatrice est indispensable afin d’apporter des garanties solides avec un design fragile : il doit donc être possible d’exclure tous les points faisant la fragilité de ces comparaisons externes, par exemple le choix d’un comparateur favorable.
Il est aussi possible que des analyses de sensibilité soient réalisées avec toutes les autres études pouvant servir potentiellement de référence et que toutes ces analyses de sensibilité montrent la supériorité du nouveau traitement.
La revue systématique des études de référence doit être loyale (cf. ci-dessous).
L’approche de constitution de groupe contrôle synthétique par sélection dans les bases historiques de patients similaires à ceux traités avec le nouveau traitement dans l’étude mono-bras expose à un risque important et non contrôlable de « data dregging ». En effet, cette approche consiste à extraire, dans une base contenant de nombreux cas, quelques patients bien sélectionnés similaires aux patients traités pour constituer un pseudo groupe contrôle. Il est facile de construire un processus de sélection testant toutes les possibilités de constitution de groupe contrôle de taille n qu’offre la base de données. Plusieurs bases peuvent être testées à la recherche d’un groupe contrôle optimal. L’acceptabilité de ce type d’approche n’est possible que si des garanties formelles d’absence de processus de data dregging de ce type sont apportées par un protocole strict, ne laissant aucune marge de manœuvre pour faire une sélection des contrôles drivée par les résultats.
