Apprentissage par renforcement

Comparaison des méthodes tabulaires

Q-learning, SARSA, Monte Carlo et Dyna-Q : étudier l’apprentissage d’une stratégie. Comparer exploration et planification sur neuf environnements de jeu.

Découvrir le projet

Pour chaque parcours, une difficulté nouvelle

ILes environnements
LineWorld, GridWorld, Monty Hall à 3 puis 5 portes, pierre-feuille-ciseaux en 2 tours, SecretEnv0 à SecretEnv3.
IILes dix modèles
Monte Carlo et ses variantes, SARSA, Q-learning, Expected SARSA, Value Iteration, Policy Iteration, Dyna-Q et Dyna-Q+.
IIITous les modèles, jeu par jeu
Reprendre chaque environnement, comparer les décisions et les résultats, puis expliquer les comportements.

Le plan de lecture

Des règles aux modèles, puis aux comportements

Comment un agent apprend-il à jouer à partir des récompenses de ses actions ? Ce projet implémente dix méthodes tabulaires et les met à l’épreuve dans LineWorld, GridWorld, Monty Hall à trois puis cinq portes, pierre-feuille-ciseaux en deux tours et quatre environnements secrets.

Pourquoi séparer les trois étapes ?

Nous découvrons d’abord les règles et l’objectif de chaque jeu. Nous expliquons ensuite les dix méthodes, du retour d’un épisode à la planification de Dyna-Q+. Enfin, nous revenons sur chaque environnement pour comparer toutes les méthodes : leurs décisions, leurs performances et les raisons de leurs comportements. Les mêmes schémas relient alors les observations aux mécanismes déjà présentés.

Un gain au bout du chemin

−10

·1

·2

·3

●4

·5

·6

+17

Déplacement 0 sur 3

4 → 5 → 6 → 7

0 et 7 terminent la partie. Les numéros sont les états ; gauche et droite sont les actions. Barème de l’atelier.

1 / 3 · Comprendre les environnements

LineWorld : rejoindre la sortie de droite

L’agent part de la case 4 sur une ligne numérotée de 0 à 7. Il peut aller à gauche ou à droite. Dans l’atelier, la sortie de droite rapporte +1, celle de gauche −1 ; les pas intermédiaires rapportent 0. Atteindre une extrémité termine la partie.

Pourquoi commencer par ce jeu ?

Il n’y a ni obstacle ni hasard dans les déplacements. Nous pouvons lire une stratégie directement sur les flèches du trajet. La référence est simple : 4 → 5 → 6 → 7, soit +1 en trois pas. Après avoir étudié les modèles, nous comparerons les dix méthodes sur cette même ligne, et pas seulement Monte Carlo.

Quatre déplacements jusqu’à la sortie

+10

●

→

↓

+10

→ → ↓ ↓
−0,1 − 0,1 − 0,1 + 10 = 9,7

Le départ au centre est entouré. Les cases du trajet sont reliées par les décisions ci-dessus. Toute action contre un bord ou tout détour peut changer le score.

1 / 3 · Comprendre les environnements

GridWorld : atteindre une sortie avec peu de détours

La grille contient 25 cases et quatre directions possibles. L’agent part du centre ; les sorties en haut à gauche et en bas à droite rapportent +10. Un déplacement ordinaire coûte −0,1, heurter le bord −0,5, et revenir au centre −1.

Pourquoi ajouter le nombre de pas au score ?

Plusieurs chemins atteignent une sortie. Un trajet direct de quatre actions rapporte 9,7 : trois petits coûts, puis +10 à l’arrivée. Un agent qui réussit en six pas a trouvé une sortie, mais conserve un détour. Nous chercherons donc à distinguer réussite, efficacité du trajet et comportement pendant l’apprentissage.

Trois positions du gain, deux raisons de changer

Gain caché	Garder A	Changer
Porte A	Gagne	Perd
Porte B	Perd	Gagne
Porte C	Perd	Gagne

1/3Garder

2/3Changer

0 ou 1Gain d’une partie

Le choix initial est A dans les trois cas. Le présentateur ouvre toujours une porte perdante différente du choix de l’agent.

1 / 3 · Comprendre les environnements

Monty Hall : garder une porte ou changer ?

Une des trois portes cache un gain. L’agent choisit une porte ; le présentateur, qui connaît la réponse, ouvre une autre porte perdante. L’agent peut garder son choix ou prendre la dernière porte fermée. La partie rapporte 1 si elle révèle le gain, 0 sinon.

Pourquoi une bonne décision peut-elle perdre ?

Changer gagne deux fois sur trois à long terme ; garder gagne une fois sur trois. Mais aucune décision ne garantit le résultat d’une partie. Le tableau montre les trois positions possibles du gain pour un choix initial A. La comparaison des modèles devra donc porter sur plusieurs parties et sur leur tendance à garder ou à changer.

Garder A, puis changer au dernier choix

Choix initial : A

Exemple où le gain est en B. La porte gagnante reste cachée à l’agent. Garder A pendant les trois ouvertures conserve sa probabilité initiale de 1/5 ; l’autre porte restante porte 4/5.

1 / 3 · Comprendre les environnements

Cinq portes : suivre plusieurs choix successifs

Cette variante commence avec cinq portes. Trois choix et trois ouvertures de portes perdantes précèdent la décision finale entre garder et changer. À chaque étape, l’agent observe sa porte actuelle et les portes déjà ouvertes ; la position du gain reste cachée.

Pourquoi la suite des choix compte-t-elle ?

Garder sa première porte pendant toutes les ouvertures, puis changer à la fin, donne une référence théorique de 80 %. Cette probabilité ne décrit pas automatiquement une stratégie qui change entre-temps. Pour comprendre un modèle, il faudra regarder tout son enchaînement de décisions, et pas uniquement son dernier choix.

L’état doit conserver le premier choix

1Vous jouez pierre. L’adversaire joue au hasard.
2Il copie votre premier choix : pierre.
→La réponse est feuille.

État = (tour 2, pierre)

Se souvenir ne prédit pas un tirage aléatoire. Ici, la mémoire est utile parce que la règle du second tour dépend du premier.

1 / 3 · Comprendre les environnements

Deux tours : anticiper la copie du premier choix

Au premier tour de pierre, feuille, ciseaux, l’adversaire joue au hasard. Au second, il rejoue le premier choix de l’agent. Si l’agent a commencé par pierre, l’adversaire jouera donc pierre : feuille devient la bonne réponse. Chaque tour rapporte +1, 0 ou −1 selon son issue.

Pourquoi conserver le premier choix dans l’observation ?

L’information « deuxième tour » ne suffit pas à décider : il faut aussi savoir ce que l’agent avait joué. L’atelier conserve ces deux informations. Nous mesurerons séparément les victoires au second tour et le score des deux tours : même avec un second tour parfaitement joué, le premier reste aléatoire.

Combien de situations faut-il explorer ?

Secret 08 192 états
Secret 165 536 états
Secret 22 097 152 états
Secret 365 536 états

Longueur des barres en échelle logarithmique (base 2). Trois actions par état sont déclarées par les moteurs ; toutes les situations ne sont pas nécessairement rencontrées dans une session.

Observer → agir → lire Δ score

1 / 3 · Comprendre les environnements

Quatre environnements dont les règles sont cachées

SecretEnv0 à SecretEnv3 sont fournis sous forme de moteurs compilés. L’agent lit un identifiant d’état et les actions autorisées, agit, puis observe la variation du score. Les espaces déclarés vont de 8 192 à 2 097 152 états, avec trois actions possibles au total.

Pourquoi les traiter séparément des cinq jeux connus ?

Leurs états et scores sont observables, mais nous ne pouvons pas expliquer leurs règles comme celles d’une grille ou de Monty Hall. Il faut aussi distinguer les comportements mesurés des erreurs d’interface. La partie comparative précisera, pour chaque méthode, ce que les archives permettent réellement de conclure. L’atelier permet d’essayer Q-learning sur les moteurs d’origine.

Même situation, deux choix à évaluer

−10

·1

·2

·3

●4

·5

·6

+17

État	Gauche	Droite
Case 4	Q(4, ←)	Q(4, →)

Retour = r₁ + γ r₂ + γ² r₃ + …

Q estime un retour pour chaque action. V estime le retour d’un état. La politique transforme ces estimations en choix. Le mécanisme de mise à jour change d’un modèle à l’autre.

2 / 3 · Comprendre les modèles

Ce que tous les modèles essaient d’estimer

Les jeux sont maintenant définis. Une politique associe une action à chaque situation. Une table Q estime le retour attendu d’une action dans cette situation ; une table V estime la valeur d’un état. Le retour additionne les récompenses futures, avec un facteur γ qui réduit progressivement leur poids.

Pourquoi les méthodes peuvent-elles produire des choix différents ?

Elles n’utilisent pas la même cible pour corriger leurs estimations. Monte Carlo attend un retour complet ; les méthodes TD utilisent une estimation du prochain pas ; la programmation dynamique exploite les règles ; Dyna construit un modèle à partir des expériences. Les schémas qui suivent expliquent ces calculs. Nous réservons leurs performances à la troisième partie.

Revenir sur un épisode terminé

−10

·1

·2

·3

●4

·5

·6

+17

Étape 1 · jouer avant de connaître le retour

4 → 5 → 6 → 7

Les nombres affichés à la fin sont les retours de cet épisode. Q se rapproche de ces retours ; il ne devient pas instantanément exact.

2 / 3 · Comprendre les modèles

Monte Carlo on-policy : apprendre après la partie

L’agent suit une politique qui explore parfois, puis attend la fin de la partie. Il remonte le trajet pour calculer le retour de chaque choix et rapprocher Q de ce retour. Dans l’atelier, seule la première visite d’un couple état–action dans l’épisode est retenue ; le pas de mise à jour vaut α = 0,15.

Pourquoi faut-il répéter les parties ?

Cette variante apprend les conséquences de la politique qui a produit les épisodes, exploration comprise. Répéter les parties stabilise les estimations, mais les retours peuvent varier et arrivent tard dans un jeu long. Le schéma utilise un trajet de LineWorld pour lire le calcul ; il illustre le mécanisme, avant toute comparaison de performance.

Explorer dès le point de départ

−10

·1

·2

·3

●4

·5

·6

+17

Case 4 : même départ à chaque partie

La variante ES peut commencer dans une autre case non terminale de la grille et essayer une autre première action. Les autres choix suivent la politique ; les mises à jour attendent la fin de l’épisode.

Dans les jeux de portes et les deux tours, seul le premier choix est randomisé par l’atelier.

2 / 3 · Comprendre les modèles

Monte Carlo ES : varier les premiers essais

Monte Carlo peut manquer des actions si la politique ne les essaie jamais. Exploring Starts change le départ : sur les grilles de l’atelier, l’agent commence dans une case non terminale tirée au hasard et choisit sa première action au hasard. Il suit ensuite les actions les mieux évaluées et attend la fin pour mettre à jour Q.

Pourquoi commencer ailleurs peut-il aider ?

Cela donne accès à des couples état–action rarement visités depuis le départ habituel. L’exploration est concentrée au début de l’épisode. Ce mécanisme suppose de pouvoir choisir le point de départ. Dans Monty Hall et pierre-feuille-ciseaux, l’atelier randomise seulement le premier choix : cette version ne couvre donc pas tous les états par des départs exploratoires.

Corriger le poids d’une trajectoire

bLa politique de collecte choisit une action avec une probabilité de 0,2.
πLa politique cible choisit cette action avec une probabilité de 1.
×5Le rapport pour ce choix est 1 / 0,2 = 5.

Poids du trajet = produit des rapports π / b

Exemple de pondération, pas une performance mesurée. Les poids élevés peuvent amplifier la variabilité. Dans l’atelier, si une action ne correspond plus à la politique cible déterministe, les étapes antérieures cessent de recevoir la contribution de cette trajectoire.

2 / 3 · Comprendre les modèles

Monte Carlo off-policy : apprendre une autre politique

La politique de collecte b explore, tandis que la politique cible π choisit les meilleures actions estimées. Off-policy Monte Carlo utilise les retours collectés pour apprendre cette politique cible. Pour corriger la différence entre les deux, il pondère les épisodes avec les rapports de probabilités π(a|s) / b(a|s).

Pourquoi ces poids peuvent-ils rendre l’apprentissage irrégulier ?

Une action rare dans les données peut recevoir un poids élevé. À l’inverse, une trajectoire qui s’écarte d’une politique cible déterministe cesse de contribuer aux étapes antérieures dans l’implémentation. L’atelier utilise une moyenne pondérée persistante. Cette séparation entre politique suivie et politique apprise réapparaîtra dans Q-learning, avec une autre forme de mise à jour.

Un pas sur la grille, une valeur à corriger

Valeurs illustratives des quatre actions à la case suivante. L’action réellement tirée est ↓.

←6

→8

↑4

↓2

Cible = −0,1 + 0,99 × 2
= 1,88

Pas d’apprentissage α · 15 %

Q avant : 3. Q après : 3 + 0,15 × (1,88 − 3) = 2,83.

SARSA retient 2 : la valeur du prochain choix réel.

2 / 3 · Comprendre les modèles

SARSA : apprendre avec le prochain choix réel

Sur la grille, l’agent passe d’une case s à une case s′, puis choisit sa prochaine action a′. SARSA ajuste Q(s,a) vers r + γ Q(s′,a′). Il n’attend pas la sortie : la valeur déjà associée à la prochaine action sert de relais. À l’arrivée, le futur vaut zéro puisque la partie est terminée.

Pourquoi l’exploration influence-t-elle ce que SARSA apprend ?

Si le prochain choix est un détour exploratoire, SARSA utilise la valeur de ce détour. Il apprend donc le retour de la politique réellement suivie, exploration comprise. Le curseur ci-contre montre comment une seule transition modifie Q. Q-learning va conserver cette mise à jour immédiate, mais remplacer le prochain choix réel par le meilleur choix estimé.

Un pas sur la grille, une valeur à corriger

Valeurs illustratives des quatre actions à la case suivante. L’action réellement tirée est ↓.

←6

→8

↑4

↓2

Cible = −0,1 + 0,99 × 8
= 7,82

Pas d’apprentissage α · 15 %

Q avant : 3. Q après : 3 + 0,15 × (7,82 − 3) = 3,72.

Q-learning retient 8 : la meilleure valeur, même si le prochain choix est ↓.

2 / 3 · Comprendre les modèles

Q-learning : apprendre la meilleure suite estimée

Même case, même déplacement, même récompense. Ce qui change est la cible : r + γ max Q(s′,a). Même si l’agent explore ensuite un détour, Q-learning utilise la meilleure action estimée à la case suivante. La politique de collecte peut explorer ; la cible suppose une continuation gloutonne.

Pourquoi cela ne garantit-il pas une meilleure performance ?

Le maximum porte sur des estimations, qui peuvent encore être mauvaises. Il faut visiter les actions pour les corriger. Avec peu d’expérience, une valeur trop optimiste peut attirer l’agent. Sur cette petite grille, plusieurs méthodes finissent par trouver le même chemin : l’intérêt de la comparaison se situe aussi dans leur vitesse d’apprentissage et leur variabilité.

Un pas sur la grille, une valeur à corriger

Valeurs illustratives des quatre actions à la case suivante. L’action réellement tirée est ↓.

←6

→8

↑4

↓2

Cible = −0,1 + 0,99 × 7,4
= 7,23

Exploration ε · 20 %Pas d’apprentissage α · 15 %

Q avant : 3. Q après : 3 + 0,15 × (7,23 − 3) = 3,63.

Expected SARSA pondère les quatre valeurs. Avec ε = 0, sa cible rejoint celle de Q-learning.

2 / 3 · Comprendre les modèles

Expected SARSA : pondérer toutes les suites possibles

SARSA utilise un prochain choix tiré au hasard ; Q-learning utilise le meilleur. Expected SARSA calcule la moyenne des valeurs des prochaines actions, pondérée par la politique. Avec quatre actions et ε = 20 %, une action seule en tête reçoit 85 % de probabilité ; chacune des trois autres, 5 %.

Pourquoi prendre une moyenne pondérée ?

Cela retire le hasard lié au tirage d’une seule prochaine action dans la cible. Le hasard du jeu et celui des expériences restent présents. Quand ε vaut zéro, cette espérance rejoint le maximum. Faites varier ε : vous verrez exactement ce qui change dans la cible, puis comparez ce calcul à ceux de SARSA et Q-learning.

La valeur des sorties se propage

+10

0 balayage depuis des valeurs nulles

Balayages synchrones : chaque case utilise les valeurs du balayage précédent. Les terminaux affichent leur récompense d’entrée, +10 ; leur valeur future est nulle.

2 / 3 · Comprendre les modèles

Value Iteration : calculer les chemins sans les parcourir

Jusqu’ici, l’agent devait jouer pour apprendre. Sur une grille dont toutes les règles sont connues, on peut calculer les conséquences de chaque action. Value Iteration remplace la valeur d’une case par la meilleure récompense immédiate plus la valeur actualisée de la suivante. Une succession de balayages propage l’intérêt des sorties vers le centre.

Pourquoi cela exige-t-il davantage d’informations ?

Le calcul examine aussi des transitions que l’agent n’a jamais vécues. Il lui faut un modèle fiable des récompenses et des déplacements. Le curseur montre cette propagation sur la grille de l’atelier, en partant de valeurs nulles. Des règles incorrectes produisent une politique optimisée pour le mauvais jeu ; plus de calcul ne répare pas ce décalage.

Corriger les flèches de la politique

+10

→

+10

Une politique initiale qui choisit toujours la droite finit bloquée contre le bord. Son évaluation révèle le coût de cette répétition.

Évaluer les choix → améliorer les flèches → recommencer.

2 / 3 · Comprendre les modèles

Policy Iteration : évaluer un plan, puis le corriger

Value Iteration améliore les valeurs directement. Policy Iteration commence par une politique, par exemple les flèches dessinées sur la grille. Elle calcule le retour de cette politique, puis remplace chaque flèche par une meilleure action. Elle recommence jusqu’à ce que les choix se stabilisent.

Pourquoi moins d’itérations ne signifie-t-il pas moins de calcul ?

Une itération de Policy Iteration contient une évaluation de politique, qui peut demander plusieurs balayages. Value Iteration améliore directement les valeurs à chaque balayage. Comparer seulement leurs nombres d’itérations serait trompeur : il faut tenir compte du travail réalisé et vérifier que les deux calculent à partir des mêmes transitions et récompenses.

Une expérience réelle, cinq souvenirs rejoués

+10

●

→

↓

+10

0 · déplacement réel vers la sortie

Q(12, →)0

Q(13, →)0

Q(14, ↓)0

Q(19, ↓)1,5

Après l’arrivée réelle, Q(19, ↓) passe de 0 à 1,5. Avancez le curseur : les souvenirs du chemin transmettent cette information aux autres cases, sans nouveau déplacement.

Ordre de répétition illustratif : 14, 13, 12, 19, 14. Dans l’atelier, les souvenirs sont tirés au hasard. Les valeurs partent de zéro, sauf celle de l’arrivée réelle.

2 / 3 · Comprendre les modèles

Dyna-Q : un déplacement réel, plusieurs répétitions mentales

Dyna-Q commence par une mise à jour Q-learning après un vrai pas. Il mémorise ensuite : « depuis cette case, cette action a donné cette récompense et cette case suivante ». Puis il tire des souvenirs et refait des mises à jour sans rejouer dans le moteur. Dans l’atelier, cinq répétitions accompagnent chaque interaction réelle.

Pourquoi ce mélange peut-il aider, puis devenir trompeur ?

Sur une grille déterministe, le souvenir décrit une transition fiable : le gain peut se propager sans nouveaux trajets. Dans Monty Hall, l’atelier mémorise seulement la dernière issue observée. La rejouer peut amplifier un échantillon chanceux ou malchanceux. Rejouer une issue ne crée pas une nouvelle observation indépendante. Nous vérifierons les conséquences de cette approximation dans les comparaisons par jeu.

L’ancienneté devient un bonus de planification

Bonus = 0,001 × √0
= 0

0 interactions depuis le dernier essai réel

Lors d’un nouvel essai réel, l’ancienneté de cette action repart à zéro. Le bonus reste interne aux mises à jour simulées.

2 / 3 · Comprendre les modèles

Dyna-Q+ : donner une raison de revisiter les actions oubliées

Dyna-Q réutilise ce qu’il connaît. Dyna-Q+ ajoute, pendant la planification, un bonus κ√τ : τ compte le temps depuis le dernier essai réel d’une action. Une action longtemps ignorée devient plus attirante, ce qui incite à retourner vérifier ce qu’elle permet. Les actions non essayées des états visités peuvent aussi entrer dans le modèle.

Pourquoi ce bonus ne remplace-t-il pas une récompense réelle ?

Il sert à orienter l’exploration ; il n’est pas ajouté au score du jeu affiché. Le curseur montre sa croissance. Cette idée est particulièrement utile lorsque les règles changent, mais les jeux connus de l’atelier restent fixes : nos mesures ne démontrent donc pas une adaptation à un changement de règles. C’est la méthode la plus composite du parcours : Q-learning, modèle, planification et ancienneté.

Lire chaque comparaison dans le même ordre

1Le tableau : les dix méthodes sur le même jeu.
2Le modèle choisi : son mécanisme et les raisons du comportement observé.
3Le schéma : sa politique et une partie enregistrée, action par action.

8Graines d’entraînement

1 000Épisodes par graine

300Parties évaluées par graine

Les budgets 0, 50, 100 et 300 permettent aussi de voir le début de l’apprentissage. α = 0,15 ; γ = 0,99 ; ε = 0,15 pendant l’apprentissage, coupé pendant l’évaluation. DP calcule à partir des règles ; les temps de calcul et le nombre de mises à jour ne sont pas égalisés.

Télécharger les mesures CSV

3 / 3 · Comparer les modèles dans chaque environnement

Un même jeu, toutes les méthodes, les mêmes mesures

Les mécanismes sont posés. Nous revenons maintenant sur chaque environnement, dans le même ordre. Chaque comparaison présente les dix méthodes, puis permet d’inspecter les décisions d’une méthode et de relier son comportement à son fonctionnement. Une méthode non évaluée est signalée explicitement, sans lui attribuer un score nul.

Pourquoi séparer une trajectoire d’un résultat moyen ?

Une trajectoire aide à comprendre un choix ; elle ne résume pas une performance. Les scores proviennent de huit entraînements indépendants, évalués chacun sur 300 parties sans exploration. Les schémas de politiques et les parties enregistrées proviennent d’une seule graine fixée à l’avance. Les résultats Python historiques restent accessibles dans la comparaison du jeu concerné.

Tous les modèles sur LineWorld

Budget comparé

Choisissez une méthode dans le tableau pour examiner son comportement dans le schéma en dessous.

Méthode	Réussite	Score	Pas
Hasard	57,7 %	0,15	11,9
	100 %	1	3
	100 %	1	3
	100 %	1	3
	100 %	1	3
	100 %	1	3
	100 %	1	3
	100 %	1	3
	100 %	1	3
	100 %	1	3
	100 %	1	3

Moyennes de 8 graines × 300 parties sans exploration. * Politique calculée à partir des règles, indépendamment du budget. — Non évalué dans ce protocole.

Modèle à observer

Monte Carlo on-policy : relier le mécanisme au comportement

Une sortie à droite donne un retour positif aux choix du trajet complet. Sur cette courte ligne, quelques épisodes peuvent déjà renseigner tous les choix utiles depuis le départ. La politique finale de cet essai rejoint la sortie en trois pas.

Revoir le fonctionnement de Monte Carlo on-policy

Une politique et une partie enregistrées

0−1

1→

2→

3→

4→●

5→

6→

7+1

Avancer dans la partie · 0 / 3 actions

Action suivante : →. Récompense observée après cette action : 0.

Les flèches montrent les actions de valeur maximale ; plusieurs flèches signalent une égalité. Le point situe l’agent, les cases marquées montrent son passage.

Voir les valeurs qui orientent ce choix

État observé : 4. Une action de valeur maximale est choisie ; les égalités sont départagées au hasard.

Action	Valeur estimée
←	0,9596
→	0,9743

Illustration : graine d’entraînement 1101, graine d’évaluation 51101. Politique après 1000 épisodes. Cette partie unique ne résume pas les huit entraînements.

Dispersion entre les entraînements

Réussite moyenne : 100 % ; écart-type entre les huit graines : 0 points. Minimum 100 %, maximum 100 %.

Les moyennes décrivent les huit entraînements ; la politique illustrée ne provient que de la graine 1101. Les explications relient le mécanisme à ce qui est observé, sans isoler expérimentalement toutes les causes des écarts.

Compléter la comparaison avec les archives Python

Deux comportements dans les archives Python

Sortir : 4 → 5 → 6 → 7
+3 en 3 pas

Boucler : 4 ⇄ 5 ⇄ 4…
+500 en 1 000 pas

La limite de pas termine l’évaluation de la boucle. Le gain cumulé est élevé, mais le terminal n’est pas atteint. Barème Python historique, différent de l’atelier.

3 / 3 · Comparer les modèles dans chaque environnement

LineWorld : dix méthodes, une même sortie

Après 1 000 épisodes, les huit méthodes qui apprennent par interaction atteignent toutes la sortie de droite en trois pas dans ce protocole. Value Iteration et Policy Iteration calculent aussi ce chemin à partir des règles. Les dix méthodes sont présentées ensemble ; sélectionnez-en une pour voir les flèches de sa politique et le trajet enregistré.

Pourquoi des mécanismes différents arrivent-ils au même résultat ?

La ligne est courte, les déplacements sont déterministes et une seule sortie est favorable. Monte Carlo peut transmettre le gain à tout le trajet après l’épisode ; SARSA, Q-learning et Expected SARSA le propagent de pas en pas ; la programmation dynamique calcule les conséquences ; Dyna réutilise les transitions. Le résultat final ne suffit donc pas à les départager : observez aussi le début de l’apprentissage.

Tous les modèles sur GridWorld

Budget comparé

Choisissez une méthode dans le tableau pour examiner son comportement dans le schéma en dessous.

Méthode	Réussite	Score	Pas
Hasard	93,9 %	2,06	35,7
	100 %	9,7	4
	100 %	9,68	4,3
	100 %	9,7	4
	100 %	9,7	4
	100 %	9,7	4
	100 %	9,7	4
	100 %	9,7	4
	100 %	9,7	4
	100 %	9,7	4
	100 %	9,7	4

Moyennes de 8 graines × 300 parties sans exploration. * Politique calculée à partir des règles, indépendamment du budget. — Non évalué dans ce protocole.

Modèle à observer

Monte Carlo on-policy : relier le mécanisme au comportement

Le retour d’un épisode additionne les coûts des détours avant le gain final. Les trajets courts reçoivent ainsi de meilleurs retours. La carte permet de vérifier comment cette information s’est transformée en choix locaux, une fois les épisodes terminés.

Revoir le fonctionnement de Monte Carlo on-policy

Une politique et une partie enregistrées

0+10

1←

2←

3←

4←

5↑

6←

7↑

8→

9↑

10→

11↑

12↑●

13↑

14←

15→↑

16↑

17↑

18←

19↓

20←→↑↓

21↑

22←

23←→↑↓

24+10

Avancer dans la partie · 0 / 4 actions

Action suivante : ↑. Récompense observée après cette action : -0,1.

Les flèches montrent les actions de valeur maximale ; plusieurs flèches signalent une égalité. Le point situe l’agent, les cases marquées montrent son passage.

Voir les valeurs qui orientent ce choix

État observé : 12. Une action de valeur maximale est choisie ; les égalités sont départagées au hasard.

Action	Valeur estimée
←	9,0458
→	8,1804
↑	9,2106
↓	7,9

Illustration : graine d’entraînement 1101, graine d’évaluation 51101. Politique après 1000 épisodes. Cette partie unique ne résume pas les huit entraînements.

Dispersion entre les entraînements

Réussite moyenne : 100 % ; écart-type entre les huit graines : 0 points. Minimum 100 %, maximum 100 %.

Compléter la comparaison avec les archives Python

Q-learning · essai Python, 500 épisodes

Récompense d’entraînement, moyenne par blocs de 10 épisodes.

9,7Score évalué

4 pasTrajet évalué

100Parties d’évaluation

Lire les valeurs de la courbe

Fin du bloc	Récompense moyenne
10	7,58
20	9,64
30	9,66
40	9,7
50	9,59
60	9,65
70	9,68
80	9,48
90	9,7
100	9,68
110	9,59
120	9,64
130	9,63
140	9,61
150	9,64
160	9,52
170	9,52
180	9,7
190	9,68
200	9,66
210	9,61
220	9,63
230	9,61
240	9,66
250	9,64
260	9,68
270	9,7
280	9,68
290	9,7
300	9,59
310	9,66
320	9,7
330	9,7
340	9,66
350	9,68
360	9,48
370	9,65
380	9,66
390	9,65
400	9,59
410	9,65
420	9,7
430	9,65
440	9,7
450	9,7
460	9,7
470	9,68
480	9,65
490	9,7
500	9,7

3 / 3 · Comparer les modèles dans chaque environnement

GridWorld : réussir ne suffit pas à éviter les détours

Sur cette grille, toutes les méthodes testées atteignent une sortie après le budget final. La plupart obtiennent 9,7 en quatre pas ; Monte Carlo ES donne 4,25 pas en moyenne sur les huit graines. La carte montre les choix d’une politique, et le trajet enregistré indique les actions réellement prises dans une partie.

Pourquoi une méthode peut-elle réussir avec un trajet plus long ?

Exploring Starts visite des départs variés ; un budget fini ne garantit pas que chaque politique obtenue soit optimale depuis le centre. Les méthodes TD corrigent localement les valeurs, tandis que les souvenirs de Dyna sont fiables sur cette grille déterministe. Deux chemins différents peuvent aussi être aussi courts : comparez les pas et le score, plutôt que de juger seulement la direction des flèches.

Tous les modèles sur Monty Hall · 3 portes

Budget comparé

Choisissez une méthode dans le tableau pour examiner son comportement dans le schéma en dessous.

Méthode	Réussite	Score	Pas
Hasard	49,7 %	0,5	2
	68 %	0,68	2
	58,5 %	0,58	2
	67,7 %	0,68	2
	67,7 %	0,68	2
	65,3 %	0,65	2
	68 %	0,68	2
	—	—	—
	—	—	—
	58,5 %	0,59	2
	62,2 %	0,62	2

Moyennes de 8 graines × 300 parties sans exploration. * Politique calculée à partir des règles, indépendamment du budget. — Non évalué dans ce protocole.

Modèle à observer

Monte Carlo on-policy : relier le mécanisme au comportement

Le retour final vaut 0 ou 1. Répéter les parties rapproche Q des gains observés pour garder ou changer. Le compteur indique la préférence de cette politique ; une défaite isolée reste compatible avec la bonne décision de changer.

Revoir le fonctionnement de Monte Carlo on-policy

Une politique et une partie enregistrées

Avancer dans la partie · 0 / 2 actions

Action suivante : Porte C. Récompense observée après cette action : 0.

Sur les 300 parties de cette graine : 0 décisions finales « garder » et 300 « changer ». La porte gagnante n’entre jamais dans l’observation du modèle.

Voir les valeurs qui orientent ce choix

État observé : 0:-1:. Une action de valeur maximale est choisie ; les égalités sont départagées au hasard.

Action	Valeur estimée
Porte A	0,4518
Porte B	0,5556
Porte C	0,7347

Illustration : graine d’entraînement 1101, graine d’évaluation 51101. Politique après 1000 épisodes. Cette partie unique ne résume pas les huit entraînements.

Dispersion entre les entraînements

Réussite moyenne : 68 % ; écart-type entre les huit graines : 2,6 points. Minimum 63 %, maximum 72,3 %.

Compléter la comparaison avec les archives Python

Des essais, avec leurs fluctuations

Expected SARSA · essai 163 %
Expected SARSA · essai 271 %
Q-learning · essai 348 %
Q-learning · essai 464 %
Q-learning · essai 570 %
Q-learning · essai 669 %
Q-learning · essai 731 %
Q-learning · essai 863 %

100 épisodes d’entraînement, 100 parties d’évaluation par essai. Référence théorique pour changer : 66,7 %.

Réglages des essais

Essai 1 : α 0,1, γ 0,99, ε initial 0,1.

Essai 2 : α 0,1, γ 0,99, ε initial 0,1.

Essai 3 : α 0,1, γ 0,99, ε initial 0,1.

Essai 4 : α 0,1, γ 0,9, ε initial 0,1.

Essai 5 : α 0,1, γ 0,9, ε initial 0,1.

Essai 6 : α 0,1, γ 0,98, ε initial 0,1.

Essai 7 : α 0,1, γ 0,99, ε initial 0,1.

Essai 8 : α 0,11, γ 0,98, ε initial 0,1.

3 / 3 · Comparer les modèles dans chaque environnement

Trois portes : quelles méthodes apprennent à changer ?

Les huit méthodes évaluées gagnent environ 58 à 68 % des parties après 1 000 épisodes. Le tableau les compare toutes et signale les deux méthodes de programmation dynamique non évaluées ici. Le schéma montre une partie enregistrée ; le compteur indique combien de décisions finales gardent ou changent la porte dans les 300 parties de la graine illustrée.

Pourquoi rejouer un souvenir ne vaut-il pas toujours une nouvelle partie ?

Monte Carlo agrège des retours, les méthodes TD corrigent progressivement leurs estimations. Dyna rejoue ici la dernière issue mémorisée : dans un jeu aléatoire, cela peut amplifier une observation particulière. Expected SARSA réduit le hasard du prochain choix dans sa cible, mais ne supprime pas celui du gain. Les explications par méthode permettent de retrouver ces distinctions dans les observations.

Tous les modèles sur Monty Hall · 5 portes

Budget comparé

Choisissez une méthode dans le tableau pour examiner son comportement dans le schéma en dessous.

Méthode	Réussite	Score	Pas
Hasard	49,6 %	0,5	4
	64,2 %	0,64	4
	55,5 %	0,56	4
	64,3 %	0,64	4
	67,3 %	0,67	4
	66,6 %	0,67	4
	66,6 %	0,67	4
	—	—	—
	—	—	—
	62 %	0,62	4
	64,8 %	0,65	4

Moyennes de 8 graines × 300 parties sans exploration. * Politique calculée à partir des règles, indépendamment du budget. — Non évalué dans ce protocole.

Modèle à observer

Monte Carlo on-policy : relier le mécanisme au comportement

Le retour final corrige toute la suite de choix. Il dépend donc aussi des changements intermédiaires, ce qui rend l’attribution du gain à chaque décision moins directe. Le schéma permet de suivre une suite complète, tandis que le score moyen décrit les nombreuses autres parties.

Revoir le fonctionnement de Monte Carlo on-policy

Une politique et une partie enregistrées

Avancer dans la partie · 0 / 4 actions

Action suivante : Porte C. Récompense observée après cette action : 0.

Sur les 300 parties de cette graine : 105 décisions finales « garder » et 195 « changer ». La porte gagnante n’entre jamais dans l’observation du modèle.

Voir les valeurs qui orientent ce choix

État observé : 0:-1:. Une action de valeur maximale est choisie ; les égalités sont départagées au hasard.

Action	Valeur estimée
Porte A	0,4439
Porte B	0,5618
Porte C	0,9358
Porte D	0,4505
Porte E	0,3117

Illustration : graine d’entraînement 1101, graine d’évaluation 51101. Politique après 1000 épisodes. Cette partie unique ne résume pas les huit entraînements.

Dispersion entre les entraînements

Réussite moyenne : 64,2 % ; écart-type entre les huit graines : 5,6 points. Minimum 54,3 %, maximum 72 %.

3 / 3 · Comparer les modèles dans chaque environnement

Cinq portes : comparer les suites de décisions

À budget identique, les huit méthodes évaluées atteignent environ 55 à 67 % de gains. Leur décision finale ne suffit pas à expliquer ce score : les changements intermédiaires modifient les situations visitées. Avancez dans la partie enregistrée pour voir les portes ouvertes, le choix courant et les valeurs qui orientent chaque décision.

Pourquoi les mêmes algorithmes demandent-ils plus d’expérience ?

Les choix successifs multiplient les observations possibles : chaque ligne de Q est moins souvent visitée. Les départs exploratoires partiels couvrent imparfaitement cet espace ; les retours Monte Carlo dépendent de toute la suite ; TD utilise des estimations intermédiaires ; Dyna ne mémorise qu’une issue par couple observé. Une comparaison de quelques points ne prouve pas à elle seule une supériorité générale.

Tous les modèles sur Pierre, feuille, ciseaux · 2 tours

Budget comparé

Choisissez une méthode dans le tableau pour examiner son comportement dans le schéma en dessous.

Méthode	2ᵉ tour gagné	Score	Pas
Hasard	33,5 %	0	2
	100 %	1	2
	100 %	0,98	2
	100 %	1,02	2
	100 %	1	2
	100 %	1	2
	100 %	1	2
	—	—	—
	—	—	—
	100 %	1,01	2
	100 %	0,99	2

Moyennes de 8 graines × 300 parties sans exploration. * Politique calculée à partir des règles, indépendamment du budget. — Non évalué dans ce protocole.

Modèle à observer

Monte Carlo on-policy : relier le mécanisme au comportement

Le retour complet contient le résultat du second tour. L’état mémorise le premier choix : les épisodes peuvent ainsi associer chaque copie de l’adversaire à la réponse qui la bat. Le premier tour reste aléatoire même si le second est toujours gagné.

Revoir le fonctionnement de Monte Carlo on-policy

Une politique et une partie enregistrées

?Premier choix mémorisé

?Adversaire du tour observé

FeuilleRéponse du modèle

Avancer dans la partie · 0 / 2 actions

Action suivante : Feuille. Récompense observée après cette action : -1.

Pour cette graine : 300 victoires au second tour sur 300. Le score total inclut aussi le premier tour aléatoire.

Voir les valeurs qui orientent ce choix

État observé : 0:-1. Une action de valeur maximale est choisie ; les égalités sont départagées au hasard.

Action	Valeur estimée
Pierre	0,2649
Feuille	0,7714
Ciseaux	0,2929

Illustration : graine d’entraînement 1101, graine d’évaluation 51101. Politique après 1000 épisodes. Cette partie unique ne résume pas les huit entraînements.

Dispersion entre les entraînements

Réussite moyenne : 100 % ; écart-type entre les huit graines : 0 points. Minimum 100 %, maximum 100 %.

3 / 3 · Comparer les modèles dans chaque environnement

Deux tours : huit méthodes exploitent la même mémoire

Après 1 000 épisodes, toutes les méthodes évaluées gagnent le second tour dans notre protocole. Le schéma montre le premier choix de l’agent, sa copie par l’adversaire et la réponse du modèle. Les scores des deux tours restent proches de +1, avec des variations dues au premier tour aléatoire.

Pourquoi changer de modèle apporte-t-il peu sur ce jeu ?

L’état conserve exactement l’information qui rend le second tour prévisible. Le retour complet de Monte Carlo, les cibles TD et les transitions mémorisées par Dyna permettent alors tous d’associer le premier choix à la bonne réponse. Cette convergence illustre le rôle de la représentation de l’état : une information utile peut compter davantage qu’un mécanisme d’apprentissage plus complexe.

Chaque méthode, sur chacun des quatre moteurs

Moteur comparé

Méthode	État de la preuve
	Mesures non validées
	Mesures non validées
	Mesures non validées
	Mesures non validées
	Mesures non validées
	Mesures non validées
	Erreur d’interface
	Erreur d’interface
	Mesures non validées
	Mesures non validées

Q-Learning sur SecretEnv0

L’archive indique un score moyen de 0 et 100 pas, dans une campagne dont l’interface a des problèmes documentés. Cela ne permet pas d’expliquer un comportement propre à Q-Learning, ni de classer cette méthode.

État + actions autorisées
↓ une action réelle
Nouvel état + variation du score

Q-learning peut être testé sur le moteur natif dans l’atelier final. Les mesures de cette nouvelle session sont distinctes de celles de l’archive.

Revoir le fonctionnement de Q-Learning

3 / 3 · Comparer les modèles dans chaque environnement

SecretEnv0 à SecretEnv3 : ce que l’on peut vraiment comparer

Les dix méthodes ont maintenant un mécanisme connu. Sur les environnements secrets, les anciens résultats contiennent toutefois des erreurs d’interface et des mesures de repli. Le tableau distingue donc, pour chaque moteur et chaque méthode, une mesure exploitable d’un résultat qui ne permet pas de conclure.

Pourquoi ne pas attribuer ces échecs aux algorithmes ?

Une erreur dans l’adaptateur peut empêcher Monte Carlo de recevoir un épisode ou fausser les transitions utilisées par TD, DP et Dyna. Un zéro enregistré dans ces conditions n’est pas une preuve de mauvaise stratégie. L’atelier actuel propose Q-learning sur les moteurs natifs ; les autres méthodes nécessitent un protocole validé avant de pouvoir comparer leurs comportements et leurs performances.

Une expérience à explorer dans ce chapitre.

Mise en pratique · Reproduire les comparaisons

Retrouver les mécanismes en faisant jouer les agents

Choisissez un jeu et une méthode, entraînez l’agent, puis observez ses décisions. Le parcours vous a donné des hypothèses : une récompense qui se propage, un détour exploratoire, un choix de porte incertain ou un souvenir utile. L’atelier permet maintenant de les confronter à une partie.

Ce que vous pouvez faire

Changer de jeu ou de méthode remet la table à zéro. Entraîner à nouveau ajoute 1 000 épisodes ; Rejouer conserve ce qui a été appris. Les mesures de cette session peuvent varier avec les tirages.

De la ligne à la grille

Commencez avec Monte Carlo, puis SARSA et Q-learning. Augmentez l’exploration : la moyenne pendant l’entraînement peut baisser alors que la stratégie évaluée reste bonne.
Sur GridWorld, comptez les quatre pas d’un chemin direct. Comparez ensuite avec une politique calculée par Value Iteration ou Policy Iteration.

Portes, mémoire et planification

Dans Monty Hall, observez plusieurs parties : une défaite isolée ne permet pas de juger la stratégie. Avec cinq portes, suivez aussi les choix intermédiaires.
En deux tours de pierre, feuille, ciseaux, vérifiez que l’agent répond au premier choix mémorisé. Comparez Dyna-Q sur la grille puis sur les portes : rejouer un souvenir a-t-il la même valeur dans les deux jeux ?

Mesurer sans confondre

Le bouton Évaluer joue 300 parties sans exploration et affiche score, réussite et longueur. Comparez ces mesures à la moyenne d’entraînement.
Dans les environnements secrets, entraînez la table Q sur le moteur d’origine et observez les variations de score ; le nombre affiché décrit votre essai local.