Comparatif de performances, Tradestation, Wealth-Lab, Amibroker

24.07.2005

Bonjour à tous,

Dans cet article je vais tenter d'apporter quelques éléments de comparaison en terme de performances entre Tradestation, Wealth-Lab et Amibroker.

J'utilise ces trois logiciels tour à tour selon mes besoins. Ces derniers temps ma préférence a plutôt été vers Tradestation. Toutefois une fois la phase de découverte passée les manques de ce logiciel commencent à apparaître. Je n'ai plus maintenant aucun doute quand au fait que Wealth-Lab lui soit très nettement suppérieur en terme de conception de système. Toutefois les très mauvaises performances de ce dernier le rendent inutilisable dès qu'il s'agit de tester et de prototyper rapidement.

C'est à partir de ce constat j'ai eu l'idée de réaliser un petit comparatif de performances.

Le test porte sur un système basique de stop and reverse (Long et Short) basé sur le croisement de deux moyennes mobiles simples. L'ouverture d'une position Longue ou Short se fait à l'ouverture de la barre suivant le croisement des deux moyennes.

Afin qu'un nombre suffisament grand de trades soit généré le test porte sur un peu moins de trois ans de données EURUSD 15 minutes, 67000 barres au total et les deux moyennes sont fixées respectivement à 10 et 20 barres. Le nombre de trades générés est d'environ 4000.

Je n'ai pas utilisé de Timer dans le code de manière à tenir compte de la totalité du calcul. En effet les itérations sur les barres ne sont pas les seuls calculs effectués par un soft de backests. Il y a également la génération des statistiques (mae, mfe, sharpe, ...), de l'Equity Curve et de la liste détaillée des trades. J'ai donc effectué un chronométrage manuel entre le clic de lancement du backtest et l'apparition de l'Equity Curve à l'écran.

La machine de test est un HP, PIV à 3 GHz et 512 mo de RAM sous WindowsXP SP2.

Versions des Logiciels

Logiciel	Version
Tradestation	8.1
Wealth-Lab	3.01 Build 20
Amibroker	4.71.1

Résultats

Rang	Logiciel	Temps
1	Amibroker	2s
2	Tradestation	7s
3	Wealth-Lab	1min05

On constate que Amibroker est de très loin le plus rapide, entre trois et quatre fois plus performant que Tradestation et 30 fois plus que Wealth-Lab.

Il faut noter que Wealth-Lab affiche des temps moitié moindres en passant par l'outil Simulator plutôt qu'en exécutant le backtest depuis Wealth-Script. On obtient alors un test à 35 secondes. Toutefois le mode normal de prototypage utilise principalement l'outil Wealth-Script, le Simulator ne vient qu'ensuite pour une analyse plus fine.

Le second test porte sur l'optimisation. Cette fois Wealth-Lab est exclu du comparatif en raison de ses temps d'exécution dissuasifs.

L'optimisation porte sur un test des moyennes longues et courtes variant entre 5 et 50 chacune avec un pas de 5, soit 100 tests exactement.

Résultats Optimisation

Rang	Logiciel	Temps
1	Amibroker	45s
2	Tradestation	2min20

En matière d'optimisation Amibroker est donc également trois fois plus rapide que Tradestation.

Il faut noter un second avantage pour Amibroker. Pour ses résultats d'optimisation Tradestation calcule 22 statistiques élémentaires tandis que dans le même temps Amibroker en propose 36 comprenant outre les statisiques minimales win/loss, des statistiques plus élaborées telles que le RRR, KRatio, SharpeRatio, etc ... Ces statistiques sont un énorme manque pour TS, elles donnent une indication de la linéarité de l'Equity Curve, ce qui est, selon moi la plus importante caractéristique d'un système.

Wealth-Lab, qui est hors course pour des backtests avec autant de trades (mais très utilisable sur des nombre de trades de quelques centaines) propose en outre la posibilité d'inclure dans l'optimisation une statistique personalisée ainsi qu'une optimisation par MonteCarlo pouvant se baser sur toute statistique dont celles concues par le concepteur du système

La conclusion que l'on retire d'un tel test est que d'une part Wealth-Lab n'est pas utilisable pour prototyper des systèmes comportant un très grand nombre de trade. Il faut alors restreindre la période de test pour les protos et laisser ensuite tourner les grands backtests une fois que l'essentiel du système est bien fixé.

Amibroker est de loin le plus rapide dès qu'il s'agit de traiter un très grands nombres de trades et dès qu'on souhaite effectuer des optimisations exhaustives.

Tradestation est à la fois rapide pour prototyper et pour backtester ses prototype sur un grand nombre de trades, c'est donc probablement le meilleurs compromis dans la phase de construction initiale d'un système de trading.

AddictFX