Acceptabilité des « nouvelles méthodologies » pour l’évaluation des médicaments

1 Objectifs, démarche mise en œuvre

2 Fondamentaux et principes de base considérés

3 Définition et classification des nouvelles « méthodologies »

4 L’acceptabilité des méthodologies « moins-disantes »

5 Retour des premières utilisations de nouvelles méthodologies

6 Évaluation des revendications de bénéfice clinique d’un nouveau traitement

7 Les real world evidences (RWE )

8 Les études observationnelles

8.1 Problématiques méthodologiques spécifiques et solutions possibles

8.1.1 Confusion

8.1.2 Autres biais

8.1.3 Autres éléments de méthode

8.1.3.1 Étude exploratoire , étude de confirmation, découverte fortuite

8.1.3.2 Études multibases

8.1.3.3 P hacking

8.1.3.4 Biais de publication et selective reporting

8.1.4 Analyse en intention de traiter

8.1.5 Inférence causale (causal inference)

8.2 Synthèses des problématiques et de leurs solutions

8.3 Études de cas, retour sur expérience

8.3.1 Comparaison de la chlorthalidone et de l’hydrochlorothiazide pour le traitement de l’hypertension

8.3.2 Sécurité cardiovasculaire de l’insuline

8.4 Meta-recherche

8.5 Avis de la SFPT

9 L’approche d’émulation d’un essai cible

10 Les registres

11 Les essais pragmatiques

12 Les essais plateformes

13 Les essais bayésiens

14 Les essais adaptatifs

15 Les essais combinés (« sans couture », seamless )

16 Études mono-bras (non comparative)

17 Études à contrôle externe (groupes contrôles synthétiques )

18 L’emprunt d’information

19 Les surrogates (critères de substitution)

20 Les essais basket

21 Les analyses poolées , les méta-analyses

22 Les comparaisons indirectes en remplacement d’études « head to head » manquantes

23 Les maladies rares

Références

PDF

8.1.3.3 P hacking

     

Les termes p hacking ou data dredging désignent l’adaptation de l’analyse statistique en cours de réalisation, en fonction des résultats qu’elle produit. Ces adaptations peuvent concerner aussi bien la méthode statistique (choix de la méthode, transformation de variables, choix des covariables d’ajustement, etc.) que le jeu de données (exclusion de patients, gestion des évènements intercurrents, restriction de l’analyse à une sous population, etc.). Ces adaptations sont d’autant plus faciles à effectuer que l’étude nécessite une analyse statistique complexe, comme avec les études observationnelles par exemple.

Avec cette pratique, il est ainsi possible d’orienter les résultats dans la direction souhaitée, tout du moins en termes de signification statistique (d’où le nom de p hacking ) [48 , 49] .

Il a ainsi été montré qu’avec un même jeu de données, confié à des équipes scientifiques différentes ayant des conceptions théoriques antithétiques, il était possible d’obtenir des résultats très différents et même opposés [50 , 51] . L’étude perd ainsi sa valeur scientifique (assurée par le fait que la réponse à la question posée est fournie uniquement par les données) pour devenir une simple opération à produire les résultats escomptés. Il ne s’agit plus d’un test loyal d’une hypothèse thérapeutique où seule la réalité pourra la réfuter ou la confirmer, mais d’une démarche de recherche active de la façon d’analyser des données afin d’obtenir un résultat le plus proche de la réponse voulue ! Un p-hacking reverse a aussi été mis en évidence où l’analyse statistique est construite pour ne pas donner de différence significative [52] .

Cette potentialité peut être aussi illustrée par le concept de vibration des effets [49] . Il s’agit de visualiser l’ampleur suivant laquelle « vibrent » les différents résultats (taille d’effet et p value) obtenus par toutes les possibilités d’analyse d’une même recherche d’association. Ces vibrations peuvent déboucher dans certains cas sur des effets Janus où des résultats opposés sont obtenus à partir du même jeu de données.

Dans la littérature ces aspects sont souvent introduits par l’aphorisme dû à Ronald Coase : « if you torture the data long enough, it will confess to anything » note n° 16 . On parle aussi de data-dredging ou partie de pêche [53 , 54] .

La solution réside dans la conception a priori de l’analyse statistique, complètement indépendante des données et des résultats produits. Cela est obtenu par l’élaboration d’un plan d’analyse statistique (statistical analysis plan , SAP) en amont de la disponibilité des données. Ainsi aucune adaptation de la stratégie d’analyse ne peut s’effectuer au moment de sa réalisation (sans que cela soit détectable en comparant le plan d’analyse statistique et l’analyse effectivement réalisée).

En pratique il faut bien ici distinguer « stratégie » et « modalités ». Les caractéristiques des variables peuvent amener à modifier les modalités d’analyses dans le respect de la stratégie définie. Les possibilités d’adaptation ou les différents choix qui devront être fait au regard des caractéristiques des variables peuvent tout à fait être spécifié dans le PAS avant que les données ne soient rendues disponibles.

Cependant, pour les études réalisées a posteriori (on parle aussi d’études historiques) sur données secondaires, le SAP sera par définition élaboré alors que les données sont déjà disponibles. Pour donner la garantie de l’absence de tout p hacking (choix post hoc des variables d’ajustements, de la population d’analyse, des définitions des expositions et des critères de jugement), de publication sélective en fonction des résultats, de HARKing ou autre opération de data dredging, il est impératif que soit explicitement mentionné dans le protocole et le rapport de l’étude que l’analyse a été conçue indépendamment des données et des résultats produits [55] .

Pour lever ces réserves, ces études doivent donner la garantie qu’elles ont bien procédé à une validation prospective a priori sur des données historiques d’une hypothèse formulée a priori. L’enregistrement des protocoles et des plans d’analyses statistiques, l’utilisation d’algorithme standard de phénotype, la transparence et l’attestation explicite de l’absence de ces pratiques par les investigateurs sont des éléments permettant de lever ces réserves [55 , 56 , 57] .

L’initiative ENCePP et le ENCePP sceal avec dépôt préalable des protocoles d’études façon clinicaltrials.gov pourraient ici être mentionné comme exemple d’initiative permettant de vérifier la concordance entre la démarche finale et la conception initiale de l’étude.


[16] https://en.wikiquote.org/wiki/Ronald_Coase