2.6 Tableau de synthèse

Problématique méthodologique (au sens large) pouvant conduire à des résultats positifs à tort

Solution apportée par la méthodologie classique et les règles d’interprétation

(essai contrôlé randomisé type essai pivot de phase 3)

Problématiques méthodologiques

Raisonnement contrefactuel

Nécessité d’un raisonnement contrefactuel pour identifier l’effet propre d’un traitement et mesurer son importance en raison de la variabilité du vivant (inter- et intra-sujet)

Groupe contrôle contemporain apportant le contrefait

Biais de sélection

(au sens du biais de sélection des études observationnelles) note n° ⁶

Démarche expérimentale, étude prospective, début du suivi identique dans les 2 groupes, absence d’attrition ou gestion conservatrice de l’attrition

Biais de confusion

(appelé biais de sélection dans le domaine de l’essai randomisé)

Randomisation imprévisible (qui avec les autres principes permet de montrer la causalité)

Biais de réalisation, de suivi

Double insu

Biais de mesure, d'évaluation

Double insu

Biais d’attrition

Analyse en intention de traiter (ITT) avec remplacement des données manquantes sur le critère de jugement de manière conservatrice (pour l’essai de supériorité)

Estimation de l’effet traitement correspond à ce que la recommandation future du traitement produirait comme changement dans le devenir des patients (compte tenu de tout le reste de la stratégie thérapeutique) note n° ⁷

Estimation d’un effet traitement en ITT (treatment policy estimand )

Inflation du risque alpha

Risque de conclure à tort à l’intérêt du traitement du fait de l’erreur statistique alpha (de premier type)

Plan de contrôle du risque alpha global

Définition des comparaisons inférentielles (comparaisons qui peuvent conduire à la conclusion à l’intérêt du traitement et donc à la recommandation de son utilisation)

Multiplicité des comparaisons

pouvant amener à conclure à l’intérêt du traitement ; multiplicité induisant une inflation du risque alpha global

Plan de contrôle du risque alpha global (non prise en considération de la signification nominale, non-présentation des p values non inférentielles pour éviter les surinterprétations des résultats exploratoires sans contrôle du risque alpha global)

Non-respect de la démarche hypothético-déductive

Formulation des hypothèses a priori garantie par le caractère prospectif de l’essai (validation prospective de l’hypothèse)

Les résultats produits ne dépendent que des données observées et non pas des convictions personnelles

Les résultats produits ne proviennent que des données observées et la méthode ne fait pas d’hypothèse fondamentale forte non vérifiée ou non vérifiable note n° 8

Découverte fortuite, fouille de données

data dredging

data milking

Réalisation d’essais de confirmation respectant pleinement la démarche hypothético déductive avec un objectif fixé a priori attesté par le plan de développement du médicament.

Exclusion des résultats post hoc, ou exploratoire de la prise de décision

P-hacking

Modification de l’analyse statistique jusqu’à l’obtention des résultats voulus

Définition d’un protocole fixant les critères de jugement et les grandes lignes de l’analyse.

Définition d’un plan d’analyse statistique (SAP) précis avant que les données (même parcellaires) soient disponibles et réalisation de l’analyse statistique en stricte conformité avec ce SAP (anciennement triple aveugle du statisticien !)

Fiabilité des données

Les résultats produits reposent sur des données de bonne qualité et aussi complètes que possible

Monitorage des données, traçabilité, audit interne et externe

Pertinence clinique

Absence de pertinence clinique

(effet non nul, mais sans plus-value médicale, ne représentant pas un progrès thérapeutique, car trop petit en taille, montré sur un critère peu pertinent, ou par rapport à un comparateur non optimal, etc.)

Définition dans l’objectif de l’essai :

• D’un critère de jugement clinique (ou d’un surrogate validé)
• D’un comparateur loyal et représentant le traitement standard du moment où l’essai est analysé pour intégrer le nouveau traitement dans la stratégie thérapeutique
• D’une population cible recherchée correspondant à la totalité des patients relevant du traitement évalué (essai pragmatique)

Bénéfice complètement compensé par des effets délétères de manière quantitative ou qualitative

Évaluation de la sécurité

Prise de décision basée sur la balance bénéfice risque = bénéfice clinique (et non pas seulement sur l’efficacité ou sur la sécurité de façon isolée et séparée)

Problématiques liés à la transparence, reporting , spin, intégrité

Selective reporting

Présentation ou publication des seuls résultats positifs de l’étude, permettant d’aboutir à la conclusion recherchée

Protocole, enregistrement dans un registre, vérification des résultats mis en avant par rapport au protocole

Biais de publication

Plan de développement, enregistrement dans un registre, déclaration administrative (et aussi la lourdeur des études qui fait qu’il est difficile de les répéter et de ne retenir que les positives)

Spin de conclusion

Conclusion positive en faveur de l’intérêt du traitement dans une étude en réalité non concluante

Ne pas lire les conclusions, ne regarder que les résultats et la méthode

Manque de transparence des rapports ou des publications, ne permettant pas de voir les limites des résultats

Rapport standard exhaustif (peut-être un peu trop !) dans le cadre de la standardisation CDISC

Guide EQUATOR (CONSORT) garantissant l’informativité des publications pour en faire l’analyse critique

Fraude des investigateurs

Monitorage de terrain, bonnes pratiques cliniques, recherche systématique de la fraude lors de l’analyse statistique, exclusion des centres en cas de suspicion de fraude

Fraude au niveau de l’investigateur principal (sponsor, centre de coordination)

Principes méthodologiques et système d’assurance qualité (procédure opératoire standard), traçabilité, audit interne et externe