Retour aux projets
01 / Apprentissage par renforcementLabo interactif

Apprendre à un taxi à trouver son chemin.

Une petite ville permet de réfléchir aux décisions séquentielles. Explorez l’état, le trajet et la récompense, une action à la fois.

ORIGINEProjet pédagogique en apprentissage par renforcement
CETTE VERSIONExploration du projet · référence dans le navigateur
SUJETSPython · Gymnasium · Q-learning
LABO TAXI / SIMULATION LOCALE

Une décision à chaque virage.

Choisissez un état initial, lancez une politique ou prenez le volant.

Prêt à partirs = 243
Taxi : ligne 3, colonne 3. Passager à R. Destination B.RGYB0 · 1 · 2 · 3 · 4

Pointillés : destination · Personnage : passager · Traits pleins : murs

Actions00
Récompense totale0
État243
Passager en attente · R→ B
Ou prenez le volant

13 actions dans le trajet planifié

Implémentation de référence créée pour ce portfolio. Le planificateur BFS parcourt une carte connue ; ce n’est pas une politique entraînée par Q-learning ou Monte-Carlo.

01

Le problème

Un taxi doit rejoindre un passager, l’embarquer et le déposer à l’une de quatre destinations. Des murs contraignent le trajet. Chaque action ordinaire coûte −1, un embarquement ou dépôt invalide coûte −10 et une livraison réussie rapporte +20. L’objectif est de terminer la tâche avec le moins d’actions coûteuses possible.

02

Fonctionnement

L’état combine 25 positions du taxi, 5 positions du passager (dont à bord) et 4 destinations, soit 500 états possibles. Six actions discrètes modifient l’environnement de façon déterministe. Le navigateur exécute ce modèle localement et enregistre les actions, les états et les récompenses de l’épisode.

01État initial
02Politique → action
03Transition
04État + récompense
03

Implémentation et attribution

Ce portfolio contient une nouvelle reconstruction TypeScript de l’environnement et un planificateur de référence par parcours en largeur (BFS). Gymnasium définit l’environnement ; aucun code Gymnasium, code de cours, politique entraînée ou résultat original n’est inclus. Le brief cite Q-learning et Monte-Carlo pour le projet original ; leur implémentation et la contribution personnelle restent à vérifier dans les sources.

04

Choix et compromis

Un planificateur sur carte connue fournit une référence déterministe et compréhensible. Il trouve un plus court trajet réussi sans entraînement et aide à vérifier les transitions. Il ne remplace pas une politique apprise et n’évalue pas une dynamique inconnue. La vue des distances montre Manhattan, pas une fonction de valeur apprise.

05

Évaluation et prochaines étapes

Le modèle de référence est vérifié pour l’encodage, les murs, les récompenses et les trajets réussis à travers l’espace des états. Avant de comparer les méthodes originales, il faut corriger Monte-Carlo et son compteur de progression, exporter les politiques et évaluer chaque méthode avec les mêmes états initiaux et plusieurs graines. Les effectifs, taux de réussite, retours et variances devront accompagner les exports.

06

Sources et reproduction

La référence fonctionne sans serveur Python : choisissez un scénario, puis lancez ou avancez action par action. Les actions aléatoires sont déterministes pour un scénario donné. Les notebooks et politiques JSON d’origine n’ont pas été fournis. Les liens ci-dessous documentent l’environnement et l’algorithme ; le profil GitHub n’est pas présenté comme le dépôt de ce projet.

À PROPOS DE CETTE VERSION

Les notebooks, modèles entraînés et résultats d’évaluation d’origine n’accompagnaient pas le brief. Cette page distingue une exploration fonctionnelle dans le navigateur des résultats restant à intégrer.

Projet suivant / 02

Déceler des motifs dans les données génomiques.

PRENONS CONTACT

Une idéeen tête ?

Développement logiciel, IA appliquée ou simplement une discussion sur les projets : écrivez-moi.