FREUD est un agent de trading par apprentissage par renforcement, conçu et mesuré pièce par pièce depuis 2023. Avant chaque entraînement, nous calculons ce que gagnerait la meilleure politique possible avec l’information dont l’agent dispose. Chaque hypothèse devient une expérience, avec un protocole et un seuil écrits avant le calcul. Cette page présente nos principes de conception, notre méthode, ce que nos expériences ont confirmé ou infirmé, et les travaux de recherche qui les ont guidées.
Six choix structurent l’agent. Chacun a été mesuré avant d’être retenu.
Pour chaque marché, nous calculons d’abord ce que gagnerait la meilleure politique possible, avec l’information disponible et les coûts réels. Aucun entraînement ne démarre sans ce plafond : il dit si l’effort a une chance d’aboutir, et quel marché viser.
The optimal strategy is characterized by two principles: 1) aim in front of the target and 2) trade partially towards the current aim.
Gârleanu et al. (2013)
Un module de perception condense le marché en un petit nombre de grandeurs ; l’agent décide sur ce résumé. Sur nos mesures, cette séparation capte deux fois plus d’information qu’un réseau entraîné de bout en bout sur les données brutes.
L’agent estime une distribution de résultats plutôt qu’une moyenne. Il connaît son pire cas plausible avant d’agir, et sa conviction se lit dans l’écart entre les actions qu’il compare.
That is, we examine methods of learning the value distribution instead of the value function.
Dabney et al. (2018)
Les limites de risque définissent ce que l’agent a le droit de faire : taille maximale, sorties possibles. Une pénalité se négocie ; une action absente, non.
L’agent réévalue sa position à intervalles réguliers mais ne paie le coût qu’en la changeant. C’est lui qui choisit la durée de ses trades, et non une échéance fixée d’avance.
À chaque décision, l’agent écrit ce qu’il percevait, l’action qu’il préférait, la suivante, l’écart entre les deux et son pire cas, avant de connaître l’issue. Chaque choix se vérifie après coup.
Les règles qui s’appliquent à chaque expérience, sans exception.
“Hundreds of papers and hundreds of factors attempt to explain the cross-section of expected returns.”Harvey, C. R., Liu, Y. & Zhu, H. (2016). … and the Cross-Section of Expected Returns. Review of Financial Studies, 29(1), 5–68. Lire l’article ↗
Bailey, D. H., Borwein, J., López de Prado, M. & Zhu, Q. J. (2017). The Probability of Backtest Overfitting. Journal of Computational Finance. Lire l’article ↗
Onze questions, posées dans l’ordre où elles conditionnent la suivante.
| Question | Ce qui a été testé | Résultat | Verdict |
|---|---|---|---|
| 3.1Existe-t-il un signal exploitable, et à quel horizon ? | Prévisions de 5 minutes à 21 jours, chaque année de 2016 à 2024 | Un signal à court terme, positif chaque année. Au-delà de quelques heures, rien de vérifiable. | ConfirméT55 · T84 · T104 · Figure 1 |
| 3.2Quelle architecture le capte le mieux ? | Quatre familles de modèles, mêmes données, même juge | Une perception dédiée capte deux fois plus d’information qu’un réseau de bout en bout. | ÉtabliT64 · T65 · T78 · Figure 2 |
| 3.3Le signal paie-t-il son coût d’exécution ? | Meilleure politique calculable, dix niveaux de coût, deux marchés | EUR/USD : oui, au coût d’un compte raw. Or : à aucun coût. | ÉtabliT101 · T102 · Figure 3 |
| 3.4Le résultat survit-il hors échantillon ? | Période réservée 2024-2026, lue une fois, verdict déclaré d’avance | Gain positif, encore trop court pour être distingué du hasard. | Non établiT109 |
| 3.5D’autres informations de marché ajoutent-elles quelque chose ? | 36 séries macroéconomiques, flux d’ordres, 80 propositions de relecteurs externes | Aucune ne fait mieux qu’un témoin de même taille tiré au hasard. | InfirméT80 · T83 |
| 3.6La tendance de long terme rapporte-t-elle encore ? | Tendance à douze mois, 2000-2024 | Oui jusqu’en 2015 ; plus rien depuis, même sans frais. | InfirméT86 |
| 3.7Une découverte se réplique-t-elle ? | Marche avant sur cinq périodes successives | Un avantage à trois jours, vu en découverte, disparaît en confirmation. | InfirméT57 |
| 3.8La boucle d’apprentissage calcule-t-elle ce qu’elle annonce ? | Recalcul indépendant de chaque étape, contre les formules publiées | Exacte à 10⁻⁷ près, après deux améliorations. | ConfirméT72 · T99 |
| 3.9Les choix de conception de l’agent tiennent-ils ? | Ancrage du niveau des valeurs (quatre variantes) ; durée minimale de détention | Ancrage : la cause est ailleurs, mesure en cours. Durée minimale : retirée pour EUR/USD (+23 % d’information apprise). | En coursD1 · T110 |
| 3.10Les réglages d’apprentissage sont-ils les bons ? | 60 apprentissages : 15 réglages, 3 graines, deux jeux de données, règles fixées d’avance | Deux réglages comptent : le rythme d’apprentissage, qui sortait de sa plage dès le 51ᵉ épisode, et la vitesse de mise à jour de la cible. Les autres n’apportent rien. | ÉtabliT123 · T124 · T126 |
| 3.11L’exploration fait-elle vivre à l’agent ce qu’il fera une fois jugé ? | Deux façons d’explorer, mêmes valeurs, même marché, comparées au comportement jugé | Non : en fin d’exploration, une décision sur cinq seulement était celle qu’il prendrait en validation. Avec un essai explicite, neuf sur dix. | ÉtabliT125 · T127 |
Le verdict se lit sur une échelle de preuve : de gauche à droite, infirmé, non établi, établi, confirmé. Une règle sans trait : mesure en cours.
À trente minutes, l’information dépasse nettement le bruit. À deux heures, elle le rejoint. À un jour, il faudrait qu’elle soit dix-sept fois plus forte pour être vérifiable : au-delà de quelques heures, rien ne se démontre sur un seul marché.
Seuil de bruit ≈ 2/√n, où n est le nombre d’observations indépendantes à cet horizon : des prévisions qui se chevauchent ne comptent qu’une fois.
Le réseau entraîné de bout en bout sur les données brutes capte deux fois moins d’information que la perception dédiée : sur un signal faible, il apprend surtout le bruit. Une tête compacte posée sur la perception garde presque tout.
T64 et T78, même protocole. Les familles de modèles ne sont pas nommées.
Plus le coût baisse, plus le gain d’EUR/USD est solide : un signal réel, freiné par le coût. Sur l’or, baisser le coût n’y change rien.
Données 2016 → février 2024. Politique optimale calculée sur des prévisions hors échantillon, en marche avant (T102, 28/09/2026). Statistique de Newey-West sur les gains quotidiens.
| Coût (pips) | solidité |
|---|---|
| 0,50 | +3,99 |
| 0,60 | +3,94 |
| 0,70 | +2,70 |
| 0,80 | +1,94 |
| 0,84 | +1,80 |
| 1,00 | +1,79 |
| 1,20 | +0,49 |
| 1,40 | +0,52 |
| 1,63 | −1,13 |
| 1,80 | −0,58 |
Chaque note dit ce qui a été mesuré, ce que l’agent y a gagné, et la recherche qui l’éclaire. Les versions insuffisantes y figurent : c’est en les mesurant que l’agent a progressé.
Pendant l’entraînement, l’agent alterne ses propres décisions et des essais. Son réglage d’exploration se lisait comme une probabilité d’essayer ; mesuré, il ne l’était pas. En fin d’exploration, une décision sur cinq seulement était celle que l’agent prendrait une fois jugé, et ses positions duraient une heure en médiane : il apprenait d’une conduite qu’il n’aurait jamais. Avec un essai explicite, neuf décisions sur dix sont les siennes, et les positions durent deux fois et demie plus longtemps. Sur un run court, quinze épisodes d’essais purs au départ suffisent à couvrir 95 % des situations dès le 18ᵉ épisode.
Ce que l’agent y a gagnéL’exploration devient un essai explicite : son réglage dit enfin ce qu’il fait. Un plateau d’essais purs ouvre le run. Son effet sur l’apprentissage se mesurera sur le run lui-même.
Le rythme d’apprentissage, la vitesse de mise à jour de la cible, la taille des lots et la fréquence d’apprentissage venaient de recherches anciennes, jamais refaites sur l’agent actuel. Une étude écrite avant calcul les a fait varier un à un : 45 apprentissages, puis 15 de confirmation sur les ticks, trois graines chacun. Le rythme d’apprentissage quittait sa plage utile dès le 51ᵉ épisode : au rythme de fin de run, l’agent apprenait 27 % d’information de moins. La règle héritée « mettre à jour la cible tous les 80 pas » n’apporte rien et compte parmi les plus instables.
Ce que l’agent y a gagnéLe rythme suit désormais la durée du run et finit dans sa plage. Une cible plus lente réduit de 40 % les revirements de la politique. Lots et fréquence restent inchangés : les modifier n’apporte rien, ou fait perdre de l’information.
Au fil de l’entraînement, le niveau moyen des valeurs apprises montait, sans que les écarts entre actions suivent. Nous avons comparé quatre façons de l’ancrer, issues de la littérature sur les récompenses moyennes, sur les mêmes données réelles et deux graines chacune. Aucune ne le fixe en 10 500 pas d’apprentissage, et l’information apprise est la même dans les quatre cas.
Ce que l’agent y a gagnéAucun réglage n’est changé, comme le voulait la règle fixée d’avance. La dérive vient d’un biais des cibles, que nous mesurons maintenant.
“All of our algorithms are based on using the temporal-difference error rather than the conventional error when updating the estimate of the average reward.”Wan, Y., Naik, A. & Sutton, R. S. (2021). Learning and Planning in Average-Reward Markov Decision Processes. ICML. Lire l’article ↗
L’une des quatre variantes comparées.
“The popular Q-learning algorithm is known to overestimate action values under certain conditions.”van Hasselt, H., Guez, A. & Silver, D. (2016). Deep Reinforcement Learning with Double Q-learning. AAAI. Lire l’article ↗
La piste que nous mesurons maintenant.
Une durée minimale de détention, calibrée sur l’or, obligeait l’agent à vivre des positions longues. Mesurée sur EUR/USD de trois façons : elle réduit de moitié le gain de la meilleure politique au coût d’un compte raw ; elle multiplie par dix les positions longues dans les données d’apprentissage ; et pourtant l’agent apprend 23 % d’information de plus sans elle.
Ce que l’agent y a gagnéLa durée minimale devient propre à chaque marché : retirée pour EUR/USD, conservée pour l’or.
Le coût d’une décision passait de 0,83 s au premier épisode à 3,89 s au septième, sans que les données changent. Une mesure dédiée a isolé la cause : une étape de la mémoire de l’agent était reconstruite à chaque ajout.
Ce que l’agent y a gagnéL’étape n’est plus construite qu’une fois, et un test le garantit. L’allègement du reste du pas est en cours.
Notre outil de diagnostic attribuait le mauvais sens à 89 % des trades fermés par un retournement : ses alertes décrivaient l’outil, et non l’agent. Confronté à la vérité de l’environnement, il a été refondu.
Ce que l’agent y a gagnéChaque instrument est désormais validé contre une vérité de terrain avant d’être lu.
Mars 2024 → septembre 2026 n’avait jamais été regardée. Tout était figé avant : perception, protocole, coût de 0,82 point de base, verdict déclaré. Sur 31 183 décisions, la prévision bat ses 20 permutations et le gain de timing est positif (+871 pips). Le signal survit hors échantillon, affaibli de plus de moitié ; deux ans et demi restent trop courts pour le distinguer du hasard.
Ce que l’agent y a gagnéLa période est désormais entamée. La prochaine preuve viendra de données nouvelles : le journal de l’agent, horodaté avant chaque issue.
Bailey, D. H., Borwein, J., López de Prado, M. & Zhu, Q. J. (2017). The Probability of Backtest Overfitting. Journal of Computational Finance. Lire l’article ↗
Pourquoi une période réservée ne se relit pas : chaque nouvel essai sur les mêmes données augmente la probabilité de sur-ajustement.
Retirer un seul point en fin de série suffisait à faire bouger nettement le résultat d’EUR/USD : le tirage des points d’apprentissage pesait autant que l’effet. Sur cinq tirages isolés, trois restaient sous le seuil de preuve ; leur combinaison le franchit.
Ce que l’agent y a gagnéLa perception de l’agent combine plusieurs tirages, et aucun résultat proche d’un seuil n’est plus lu sur un seul.
Même perception, même contrôle, dix coûts. Sur EUR/USD, le gain est prouvé à 0,5 pip, disparaît dès 1,2 pip et devient perdant au coût moyen de notre ancien simulateur. Sur l’or, baisser le coût ne fait rien apparaître, même à 0,10 $/oz.
Ce que l’agent y a gagnéL’agent est entraîné sur EUR/USD, aux coûts d’un compte raw.
Avant de demander à un agent d’apprendre, nous calculons la politique optimale pour l’information qu’il reçoit, comme on connaît la valeur du jeu parfait avant d’entraîner un joueur. Avec des coûts de transaction, cette politique laisse des zones où il vaut mieux ne pas bouger. Sur l’or, au coût du contrat à terme complet, son gain ne se distingue pas de zéro ; au coût d’un CFD, elle ne prend jamais de position.
Ce que l’agent y a gagnéAucun entraînement GPU ne part sans plafond calculé.
“The optimal strategy is characterized by two principles: 1) aim in front of the target and 2) trade partially towards the current aim.”Gârleanu, N. & Pedersen, L. H. (2013). Dynamic Trading with Predictable Returns and Transaction Costs. Journal of Finance, 68(6), 2309–2340. Lire l’article ↗
Le cadre théorique du trading optimal avec signaux prévisibles et coûts.
La littérature documente un effet de tendance sur de nombreux marchés. Nous l’avons retrouvé sur l’or de 2000 à 2015, avec un Sharpe de +0,46 en contrats à terme. Sur 2016-2024, il ne rapporte plus rien, même sans aucun frais.
Ce que l’agent y a gagnéLa tendance longue sert de témoin : un banc qui ne la retrouverait pas sur 2000-2015 serait défaillant.
“We find that the past 12-month excess return of each instrument is a positive predictor of its future return.”Moskowitz, T. J., Ooi, Y. H. & Pedersen, L. H. (2012). Time Series Momentum. Journal of Financial Economics. Lire l’article ↗
L’effet que nous retrouvons jusqu’en 2015, et plus après.
Mêmes données, même juge, quatre algorithmes. La prévision à 30 minutes est positive chaque année de 2016 à 2024. Au-delà de quelques heures, rien, quel que soit l’algorithme (figure 1).
Ce que l’agent y a gagnéL’agent décide à la cadence où l’information existe, sur un état volontairement réduit.
Sur les mêmes données, notre module de perception capte deux fois plus d’information qu’un réseau entraîné de bout en bout (+0,035 contre +0,018). Une tête compacte posée sur ce module garde presque tout (+0,031) : le grand réseau réapprenait la perception à partir des données brutes, et s’y sur-ajustait (figure 2).
Ce que l’agent y a gagnéL’agent décide sur le résumé produit par la perception, et plus sur les données brutes.
Avec un horizon très long, chaque valeur apprise porte un terme commun énorme : cent mille fois la récompense moyenne. Le réseau dépensait son effort à suivre ce niveau plutôt qu’à distinguer les actions.
Ce que l’agent y a gagnéLa récompense moyenne est retirée avant l’apprentissage. Le 3 octobre, nous avons vérifié que cela ne suffit pas à fixer le niveau (note D1).
“In addition, we show that if a problem's rewards are shifted by a constant, then standard methods perform much worse, whereas methods with reward centering are unaffected.”Naik, A., Wan, Y., Tomar, M. & Sutton, R. S. (2024). Reward Centering. Reinforcement Learning Conference (RLC). Lire l’article ↗
La méthode adoptée.
La mémoire qui rejoue en priorité les expériences les plus instructives avait deux insuffisances : les expériences récentes y étaient sous-représentées, et une seule valeur non numérique pouvait suspendre l’apprentissage sans erreur visible. Chaque étape de la boucle est maintenant recalculée indépendamment, à 1,5 × 10⁻⁷ près.
Ce que l’agent y a gagnéPriorités exactes, valeurs non numériques isolées, et un banc qui recalcule toute la boucle d’apprentissage.
“In this paper we develop a framework for prioritizing experience, so as to replay important transitions more frequently, and therefore learn more efficiently.”Schaul, T., Quan, J., Antonoglou, I. & Silver, D. (2016). Prioritized Experience Replay. ICLR. Lire l’article ↗
Le mécanisme de mémoire que nous avons mesuré.
Une analyse de régime de l’environnement lisait les trente minutes suivant la décision : une insuffisance invisible sur les courbes d’apprentissage, qui rend tout résultat optimiste.
Ce que l’agent y a gagnéL’analyse ne lit plus que le passé, et deux contrôles automatiques le vérifient.
Une échéance fixe fermait toute position après 15 heures ; les trades gagnants duraient plus longtemps, et tous étaient coupés avant de payer.
Ce que l’agent y a gagnéLa politique choisit son horizon et ne paie le coût qu’une fois par trade.
Le simulateur comptait le spread dans le prix d’exécution et, en plus, dans les frais : l’agent voyait un coût double du coût réel, et apprenait logiquement que trader ne paie pas.
Ce que l’agent y a gagnéLe spread n’est plus compté qu’une fois, dans le prix d’exécution.
À signal faible, une méthode qui moyenne de nombreux modèles bat une méthode séquentielle de 27 %, sur neuf plis temporels sur dix (t = +3,60, test apparié). Ce qui limite la prévision ici, c’est le bruit, et la moyenne le réduit.
Ce que l’agent y a gagnéLa perception de l’agent est construite pour réduire la variance.
Un premier banc trouvait un avantage à trois jours (t = +2,52). Refait en marche avant, sur cinq périodes successives, il n’est positif que sur une ou deux : le résultat venait d’un découpage favorable des données.
Ce que l’agent y a gagnéTout résultat est testé en marche avant, avec une purge entre apprentissage et test, et lu contre un seuil plus exigeant que t = 2.
“Hundreds of papers and hundreds of factors attempt to explain the cross-section of expected returns.”Harvey, C. R., Liu, Y. & Zhu, H. (2016). … and the Cross-Section of Expected Returns. Review of Financial Studies, 29(1), 5–68. Lire l’article ↗
Après tant de recherches sur les mêmes données, les auteurs proposent d’exiger t > 3,0 d’un nouveau facteur.
Une composante de mise en forme de la récompense versait +0,527 par pas à une position perdante de −100 € : elle encourageait à garder les pertes. Nous l’avons mise en évidence en dérivant la formule, puis refondue.
Ce que l’agent y a gagnéLa récompense finale est logarithmique, celle d’un critère de Kelly, et chaque composante est auditée ligne à ligne.
Ng, A. Y., Harada, D. & Russell, S. (1999). Policy invariance under reward transformations: theory and application to reward shaping. ICML.
Le théorème qui rend la mise en forme sans effet sur la politique optimale suppose le même facteur d’actualisation partout : c’est cette condition que la version insuffisante ne respectait pas.
Un premier environnement de marché, un premier agent par renforcement, et la chaîne qui transforme les ticks en données d’entraînement. Beaucoup d’essais d’architecture, dont la plupart ont été écartés.
31 révisionsModélisation de l’incertitude, frais de courtage réalistes, entraînement sur GPU dans le cloud. Les premiers runs longs montrent qu’un agent peut sembler apprendre sans rien apprendre : il faut des instruments pour le savoir.
34 révisionsNous cessons de juger l’agent sur ses courbes. Chaque composant est exécuté et mesuré ; chaque insuffisance devient une version améliorée, et un test qui la garde.
24 révisionsChaque hypothèse devient une expérience, avec son protocole, ses témoins et son seuil fixé d’avance. Existe-t-il un signal ? À quel horizon ? Combien coûte-t-il de l’exploiter ? Puis le calcul de la meilleure politique possible oriente l’agent vers EUR/USD.
154 révisionsLa revue du premier entraînement EUR/USD tranche deux choix de conception par des mesures et allège le pas d’entraînement. 22 ans de ticks EUR/USD, retéléchargés à la milliseconde, forment le nouveau jeu d’entraînement, contrôlé table par table. Une étude écrite d’avance, 60 apprentissages, fixe les réglages du prochain entraînement.
en coursLes passages entre guillemets sont recopiés des résumés publiés par leurs auteurs.