6.2.1 Comment cela marche ?

Cette méthode permet un contrôle de l’inflation du risque alpha de la manière suivante.

Classiquement l’inflation du risque alpha était évitée par l’utilisation d’un critère de jugement principal unique défini à priori. Seule une conclusion sur ce critère est possible, les autres résultats obtenus sur les autres critères (critères secondaires) ont seulement une valeur exploratoire (ou explicative en cas de résultat concluant sur le critère principal) et ne permettent pas de justifier une utilisation ou une AMM. Les résultats sur les critères secondaires suggèrent des effets et ne les démontrent pas. Seul le résultat sur le critère principal est susceptible d’apporte une démonstration formelle de l’effet du traitement. En effet, un essai clinique a pour finalité de permettre de décider, en se basant sur les faits, si le traitement évalué à un intérêt ou non (et ainsi s’il doit être mis sur le marché et recommandé pour la pratique). Dans cet exercice, on ne souhaite pas courir un risque de faire cette conclusion et recommandation à tort (risque de considérer que le traitement apporte un bénéfice sous hypothèse nulle) supérieur à certain niveau, classiquement de l’ordre de 2.5% pour un essai (car la conclusion est unilatérale et les tests à 5% bilatéraux), voire plus faible sur un dossier d’enregistrement où l’on demande classiquement au moins 2 essais concluants.

Pour que ce risque de conclusion à tort reste au niveau voulu –disons pour simplifier 5%, il est nécessaire de n’examiner qu’un seul et unique test statistique. En effet, s’il devient possible de conclure à l’intérêt du traitement à partir de la réalisation de plusieurs tests, le risque de conclure à tort à l’intérêt du traitement n’est plus de 5%, mais il est bien plus important, car chaque test envisagé apporte un risque de 5% qu’il soit significatif par hasard. Ainsi sous l’hypothèse nulle (le traitement n’apporte aucun bénéfice sur aucun plan) si on examine 100 critères de jugement indépendants, 5 seront significatifs (c’est le reflet du risque alpha consentie de 5%). Pour éviter cela, la décision de reconnaître un intérêt au traitement évalué se base sur un seul et unique test statistique, choisi à priori indépendamment des résultats : celui du critère de jugement principal. Ainsi l’approche du critère de jugement principal permet de contrôler parfaitement le risque de recommander (mettre sur le marché) un traitement qui en réalité n’apporte aucun bénéfice aux patients.

Souvent lorsque le critère de jugement principal est significatif, on scrute les critères de jugement secondaires à la recherche d’effets supplémentaires du traitement qui permettraient ainsi de dire que ce traitement présente d’autres avantages que son effet sur le critère principal (par exemple, une réduction de la mortalité totale en plus de la réduction des évènements cardiovasculaire). Aucune précaution statistique n’est en général mise en œuvre, ce qui conduit à faire de la pêche à la ligne et à courir un risque de fausse découverte important.

Prenons l’exemple d’un traitement qui n’a aucun autre effet que son effet sur le critère principal, plus on scrute de critères de jugement secondaires (où par hypothèse on a un risque de 5% d’avoir un résultat significatif) plus la probabilité de découvrir à tort un autre avantage du traitement augmente.

Souvent cette analyse des critères de jugement secondaires débouche sur la mise en concurrence de 2 ou plusieurs traitements ayant le même effet primaire pour voir si l’un ne se distinguerait pas en ayant un autre avantage que n’auraient pas les autres. Cette approche n’a souvent pas plus de valeur que de faire cette recherche de facteurs discriminants à l’aide de la « roue de la fortune » !

Le principal intérêt de l’approche séquentielle hiérarchique est de parfaitement contrôler le risque de fausse découverte dans cette recherche d’autres avantages.

En effet au niveau du premier critère testé, tout se passe comme avec l’approche du critère principal. La prise de risque sur la reconnaissance à tort d'un intérêt au traitement est parfaitement contrôlée (limitée à 5% pour faire simple). Si ce test est non significatif, tout s’arrête et ce traitement ne sera jamais, sur la base de cet essai, considéré comme utile.

Si ce test est significatif, se pose alors la question de l'existence d’au moins un autre bénéfice supplémentaire. Comme le critère à utiliser pour faire cette recherche d’intérêt complémentaire est pré fixé, aucune pêche à la ligne n’est effectuée. L’hypothèse que le traitement a un premier (au moins un) avantage supplémentaire est testée avec un risque de fausse découverte parfaitement contrôlé de 5%. Si ce test est significatif, on peut conclure que l’on a démontré que le traitement avait un intérêt (1er test) et qu’il a aussi un avantage supplémentaire (le 2ème test). En faisant cette conclusion, on court un risque parfaitement maitrisé de recommander à tort, dans l’absolu, l’utilisation de ce traitement (le 1er test) et aussi de promouvoir à tort ce traitement en disant qu’il apporte un bénéfice supplémentaire alors qu’en réalité il n’apporte que le bénéfice obtenu sur le 1er critère.

Et ainsi de suite... Avec un traitement qui a démontré son bénéfice primaire et un premier bénéfice supplémentaire, se pose alors la question de savoir s’il n’aurait pas un second bénéfice supplémentaire.

Pour éviter une pêche à la ligne sur tous les critères secondaires restants, la méthode séquentielle hiérarchique a parfaitement défini le critère unique qui devait être examiné pour chercher ce second avantage supplémentaire et ainsi il n’y a pas d’inflation du risque alpha sur cette recherche. Et ainsi de suite jusqu’à la fin de la hiérarchie ou jusqu’au premier test non significatif. Aucune conclusion n’est alors possible en deçà de ce 1er test non significatif, même en cas de résultat statistiquement significatif.