Apprendre à un taxi à trouver son chemin.
Une petite ville permet de réfléchir aux décisions séquentielles. Explorez l’état, le trajet et la récompense, une action à la fois.
Une décision à chaque virage.
Choisissez un état initial, lancez une politique ou prenez le volant.
Pointillés : destination · Personnage : passager · Traits pleins : murs
13 actions dans le trajet planifié
Implémentation de référence créée pour ce portfolio. Le planificateur BFS parcourt une carte connue ; ce n’est pas une politique entraînée par Q-learning ou Monte-Carlo.
Le problème
Un taxi doit rejoindre un passager, l’embarquer et le déposer à l’une de quatre destinations. Des murs contraignent le trajet. Chaque action ordinaire coûte −1, un embarquement ou dépôt invalide coûte −10 et une livraison réussie rapporte +20. L’objectif est de terminer la tâche avec le moins d’actions coûteuses possible.
Fonctionnement
L’état combine 25 positions du taxi, 5 positions du passager (dont à bord) et 4 destinations, soit 500 états possibles. Six actions discrètes modifient l’environnement de façon déterministe. Le navigateur exécute ce modèle localement et enregistre les actions, les états et les récompenses de l’épisode.
Implémentation et attribution
Ce portfolio contient une nouvelle reconstruction TypeScript de l’environnement et un planificateur de référence par parcours en largeur (BFS). Gymnasium définit l’environnement ; aucun code Gymnasium, code de cours, politique entraînée ou résultat original n’est inclus. Le brief cite Q-learning et Monte-Carlo pour le projet original ; leur implémentation et la contribution personnelle restent à vérifier dans les sources.
Choix et compromis
Un planificateur sur carte connue fournit une référence déterministe et compréhensible. Il trouve un plus court trajet réussi sans entraînement et aide à vérifier les transitions. Il ne remplace pas une politique apprise et n’évalue pas une dynamique inconnue. La vue des distances montre Manhattan, pas une fonction de valeur apprise.
Évaluation et prochaines étapes
Le modèle de référence est vérifié pour l’encodage, les murs, les récompenses et les trajets réussis à travers l’espace des états. Avant de comparer les méthodes originales, il faut corriger Monte-Carlo et son compteur de progression, exporter les politiques et évaluer chaque méthode avec les mêmes états initiaux et plusieurs graines. Les effectifs, taux de réussite, retours et variances devront accompagner les exports.
Sources et reproduction
La référence fonctionne sans serveur Python : choisissez un scénario, puis lancez ou avancez action par action. Les actions aléatoires sont déterministes pour un scénario donné. Les notebooks et politiques JSON d’origine n’ont pas été fournis. Les liens ci-dessous documentent l’environnement et l’algorithme ; le profil GitHub n’est pas présenté comme le dépôt de ce projet.
Les notebooks, modèles entraînés et résultats d’évaluation d’origine n’accompagnaient pas le brief. Cette page distingue une exploration fonctionnelle dans le navigateur des résultats restant à intégrer.
Déceler des motifs dans les données génomiques.
Une idéeen tête ?
Développement logiciel, IA appliquée ou simplement une discussion sur les projets : écrivez-moi.