24.1 Analyses de sensibilité

Les analyses de sensibilités ont pour but de montrer la robustesse des résultats « primaires » vis-à-vis des choix méthodologiques ou de stratégie d’analyse. Elles ont pour objectifs de montrer que le résultat obtenu, dans sa taille ou sa direction, ne dépend pas de la méthode choisie et qu’il est donc robuste.

Derrière cette définition se cachent de nombreuses difficultés :

Quel degré de variation dans les résultats des analyses de sensibilité récuse la robustesse du résultat ?
Quelles alternatives d’analyse (méthodes, stratégie) tester ? À quelle condition un changement de méthode d’analyse est en mesure de vraiment montrer la fragilité d’un résultat ?

Les analyses de sensibilité ne peuvent que réfuter la robustesse du résultat et ne doivent pas être utilisées pour choisir le résultat qui sera mis en avant.

Plusieurs options sont possibles pour conclure à la non-confirmation de la robustesse du résultat par une analyse de sensibilité : une simple différence numérique dans les estimations de taille d’effet, la perte de la signification statistique ou la mise en évidence d’une différence statistiquement significative entre les deux estimations. En général rien n’est formalisé et l’interprétation s’effectue dans la nuance ouvrant la voie à des conclusions arbitraires.

Les analyses de sensibilité doivent être construites pour tester des aspects très précis. Par exemple pour explorer la sensibilité des résultats aux erreurs de classification, les analyses de sensibilités peuvent être effectuées en faisant varier les définitions des expositions et des critères de jugement.

D’autres analyses de sensibilités peuvent faire varier la définition des patients et/ou explorer d’autres sources de données. Les options de modélisations peuvent être explorées en faisant varier les modèles et méthodes d’analyses.

Indirectement les analyses de sensibilité peuvent éclairer la discussion de l’absence de HARKing et de p hacking. En effet cette question va devenir centrale s’il s’avère que d’autres stratégies d’analyse, que celle utilisée pour produire les résultats primaires mis en avant, donnent des résultats et/ou des conclusions différentes. Encore faut-il que de telles analyses de sensibilité soient rapportées. Cette discussion renforce la nécessité que ces études apportent une garantie tangible d’absence ce de HARKing et de p hacking (cf. section 10).

Bien que très classiques, les analyses de sensibilité présentent des limites qui résident dans le fait que les différentes variantes d’analyses testées peuvent être toutes sujettes au même biais (par exemple les différentes définitions des critères de jugement sont sujettes aux mêmes erreurs de classification). L’analyse quantitative des biais permet de dépasser cette limite en introduisant explicitement une erreur dans les données ou l’analyse et en étudiant la sensibilité du résultat à cette erreur.

Ces analyses de sensibilité ne sont très souvent pas ou mal décrites dans les plans d’analyses ce qui ne permet pas de vérifier leur pré-spécification.