Une comparaison équitable exige un protocole commun
Les sorties comprennent 39 réussites sur 100 épisodes pour Monte Carlo et 200 sur 200 pour Q-learning, dans des conditions différentes.
Comparer avec les mêmes départs, limites et effectifs, sur plusieurs graines.
Question
Les sorties Monte Carlo et Q-learning disponibles permettent-elles de classer fiablement les méthodes ?
Expérience
Les sorties Taxi-v3 sauvegardées comptent les épisodes réussis pour Monte Carlo et Q-learning. Les graines et parfois les effectifs d’évaluation diffèrent.
Résultats enregistrés
| Méthode | Réussites enregistrées |
|---|---|
| Monte Carlo | 39 / 100 épisodes |
| Q-learning | 200 / 200 épisodes |
Limites
L’implémentation appelée « first-visit Monte-Carlo » doit être corrigée avant une nouvelle comparaison. Les effectifs seuls ne démontrent pas une performance générale.
Interprétation
Les sorties décrivent les exécutions disponibles. Les conditions d’évaluation différentes ne permettent pas de classer rigoureusement les algorithmes.
Comparer avec les mêmes départs, limites et effectifs, sur plusieurs graines.
Prochaine expérience
Corriger l’implémentation first-visit Monte Carlo, puis évaluer les deux méthodes depuis les mêmes états initiaux, avec les mêmes limites et effectifs, sur plusieurs graines.
Origine et contribution
Projet pédagogique d’apprentissage par renforcement avec Taxi-v3. Effectifs issus de la synthèse éditoriale des sorties sauvegardées fournie pour cette mise à jour ; les notebooks ne sont pas dans ce dépôt.
Le code d’apprentissage d’origine et la contribution personnelle précise restent à vérifier. Le labo Taxi du navigateur est une reconstruction de référence distincte, pas une politique entraînée.