Le backtesting consiste à appliquer les règles exactes d'une stratégie de trading à des données de prix historiques pour voir comment elle aurait performé. Bien fait, c'est l'un des rares moyens d'obtenir de véritables preuves sur la présence ou non d'un avantage dans une stratégie avant d'y engager du capital réel. Fait sans rigueur, il peut produire une stratégie qui a l'air brillante sur papier et qui s'effondre dès qu'elle rencontre des données réelles, jamais vues — ce qui est exactement ce qui arrive à bon nombre des affirmations de « rendement de 500 % en backtesting » qui circulent en ligne.
À quoi sert réellement le backtesting
L'objectif honnête d'un backtest n'est pas de prouver qu'une stratégie sera rentable — c'est d'écarter les stratégies qui ne le sont manifestement pas, et de se faire une idée approximative du comportement d'une stratégie : à quelle fréquence elle gagne, à quel point les pertes ont tendance à être importantes, combien de temps durent typiquement les séries de pertes, et si la logique qui la sous-tend tient la route dans différentes conditions de marché. Un backtest est une preuve indicative, pas une preuve absolue, et c'est en le traitant comme davantage que cela que surviennent la plupart des dommages abordés dans cette leçon.
Les pièges qui invalident discrètement un backtest
Les mêmes données, ajustées de deux façons différentes
Les sept mêmes points de données dans les deux panneaux. La ligne surajustée ressemble à un backtest « parfait » — elle explique 100 % des données historiques. La ligne robuste explique moins le passé, mais a beaucoup plus de chances de se généraliser à des données qu'elle n'a pas encore vues, ce qui est le seul type de données qu'affronte réellement une transaction en direct.
Le surajustement Curve-fitting
Cela se produit lorsque les règles d'une stratégie sont ajustées si précisément aux données historiques qu'elles captent le bruit de cette période précise plutôt qu'une tendance réelle et reproductible. Une stratégie avec une douzaine de paramètres finement ajustés peut souvent être amenée à montrer un résultat historique presque parfait — et performera presque toujours bien plus mal sur des données qu'elle n'a pas vues, parce qu'elle n'a jamais réellement trouvé un avantage, seulement mémorisé le passé.
Le biais d'anticipation
C'est quand un backtest utilise accidentellement une information qui n'aurait pas été disponible au moment de la transaction — par exemple, utiliser le prix de clôture d'une journée pour décider d'entrer plus tôt ce même jour. C'est une erreur facile à commettre dans un logiciel de backtesting, et elle gonfle les résultats d'une façon invisible à moins de vérifier spécifiquement ce point.
Ignorer les coûts réels du trading
Le spread, la commission et le glissement de prix (la différence entre le prix voulu et le prix réellement obtenu) grugent tous les rendements réels. Un backtest effectué sur des prix historiques nets, sans aucun de ces coûts appliqués, surestimera systématiquement la façon dont une stratégie performe une fois réellement tradée.
Un échantillon trop petit
Une stratégie testée sur 20 transactions peut sembler exceptionnelle ou désastreuse presque entièrement en raison du hasard. Des conclusions significatives exigent généralement un échantillon suffisamment grand — et une période suffisamment longue, couvrant plus d'un type de condition de marché — avant que les résultats en disent long sur la stratégie elle-même plutôt que sur la période précise testée.
Le biais de survie et la qualité des données
Des données historiques qui excluent les instruments radiés, qui utilisent des prix ajustés de façon incohérente, ou qui comportent des lacunes et des erreurs peuvent fausser les résultats d'une façon difficile à repérer sans vérifier délibérément la qualité des données au préalable. Un backtest n'est fiable qu'à la hauteur des données qui l'alimentent.
Pourquoi cela rejoint directement le marketing des gourous
Des affirmations comme « cette stratégie a rapporté 500 % en backtesting sur cinq ans » sont souvent techniquement vraies et pourtant trompeuses — parce qu'une stratégie surajustée peut être conçue pour montrer à peu près n'importe quel résultat historique souhaité. C'est le même schéma que celui abordé dans la leçon sur le repérage des faux gourous du trading : un chiffre qui a l'air impressionnant, sans visibilité sur la façon dont il a été produit ni sur sa tenue hors échantillon, n'en dit en soi que très peu.