On connaît surtout ChatGPT comme un assistant avec lequel on discute, on écrit, on cherche ou on travaille.
Mais que se passe-t-il lorsqu’on place une IA devant un jeu vidéo, qu’on lui montre simplement ce qui se passe à l’écran et qu’on lui donne le contrôle du clavier et de la souris ?
C’est l’expérience menée par Vals AI avec GPT-6 Astra. Et parmi les différents jeux testés, une partie de Minecraft va finalement durer 141 heures.
Avec quelques résultats impressionnants… et une rencontre avec un Creeper qui va complètement changer le cours de l’aventure.
🎮 Une IA devant de vrais jeux vidéo
Vals AI travaille sur des tests destinés à mesurer les capacités des modèles d’intelligence artificielle dans des situations concrètes.
Pour son CUA-bench, le principe est assez facile à comprendre : plusieurs IA sont placées devant six jeux vidéo commerciaux et doivent essayer d’y progresser.
Parmi les jeux connus du test, on trouve Minecraft, SUPERHOT et eFootball, accompagnés de trois autres titres gardés secrets.
Mais surtout, les IA ne reçoivent pas une version spécialement simplifiée des jeux.
Elles doivent observer ce qui apparaît à l’écran et agir à l’aide des commandes classiques de l’ordinateur. Pas d’accès direct aux données internes du jeu, pas de sauvegardes ni d’API permettant de connaître automatiquement la position des objets ou des ennemis.
En résumé : elles doivent regarder, comprendre et agir.
Et sur ce test, Astra obtient les meilleurs résultats parmi les modèles évalués, même si les performances restent encore très éloignées de celles d’un joueur humain.
⛏️ 141 heures dans Minecraft
C’est avec Minecraft que l’expérience devient particulièrement intéressante.
Après un premier test de trois heures, Vals AI décide de laisser Astra poursuivre beaucoup plus longtemps.
Au total : 141 heures de jeu.
Pendant cette partie, Astra ne se contente pas de marcher au hasard dans le monde de Minecraft.
Elle collecte des ressources, fabrique des objets, explore, combat des créatures et progresse suffisamment pour construire un portail vers le Nether.
Elle atteint ensuite une forteresse du Nether et va jusqu’à construire une ferme semi-automatique à Blazes.
Résultat : six Blaze Rods récupérés.
Astra trouve également une Warped Forest, combat plusieurs Endermen et réussit à récupérer trois Ender Pearls.
Elle commence donc réellement à réunir les éléments nécessaires pour poursuivre vers l’End.
Sur l’ensemble de l’expérience, elle aura miné plus de 34 000 blocs, fabriqué plusieurs milliers d’objets et parcouru plus de 135 kilomètres dans le jeu.
Pas mal pour une IA qui regarde simplement Minecraft à travers son écran.
Puis arrive un Creeper…
Et c’est là que l’expérience prend une tournure assez improbable.
Astra avait regroupé plusieurs de ses ressources importantes dans un coffre installé près de son lit.
Un Creeper arrive.
Explosion.
Le coffre est détruit, le lit également, et Astra perd une partie importante de ce qu’elle avait accumulé ainsi que son point de réapparition.
Après cet événement, son comportement change.
Au lieu de reconstruire immédiatement sa progression vers l’End, Astra passe notamment plusieurs heures à cultiver principalement des pommes de terre. 🥔
Elle devient également beaucoup plus prudente lorsqu’elle rencontre quelque chose pouvant ressembler à un Creeper.
La scène est évidemment très amusante vue de l’extérieur : une IA passe des dizaines d’heures à progresser dans Minecraft, perd ses affaires à cause d’un Creeper… puis semble décider que finalement, planter des patates n’est peut-être pas une si mauvaise vie.
Mais attention à ne pas aller trop loin dans l’interprétation.
Rien ne permet de dire qu’Astra était réellement « triste », « traumatisée » ou découragée comme pourrait l’être un joueur humain.
Ce que l’on peut observer, en revanche, c’est qu’un événement survenu dans le jeu a été suivi d’un changement important dans son comportement et sa stratégie.
Et c’est justement ce qui rend l’expérience aussi intéressante.
Voir, comprendre, agir… et recommencer
Astra n’a finalement pas terminé Minecraft.
Elle n’a pas atteint l’End et n’a donc pas affronté l’Ender Dragon.
Mais ce n’est peut-être pas le résultat le plus intéressant.
Pendant 141 heures, un modèle d’intelligence artificielle a dû évoluer dans un environnement visuel complexe, comprendre ce qui apparaissait devant lui, se déplacer dans un monde en trois dimensions, fabriquer des objets, gérer des ressources, combattre des ennemis et essayer de poursuivre un objectif sur une très longue durée.
Et Minecraft n’était pas le seul jeu de l’expérience.
Sur SUPERHOT, Astra est également l’agent qui progresse le plus loin parmi ceux testés. Sur eFootball, elle réussit à gagner des matchs contre l’intelligence artificielle du jeu en difficulté Beginner, même si elle ne parvient plus à gagner au niveau Regular.
Les agents restent surtout extrêmement lents : là où un joueur humain enchaîne plusieurs commandes chaque seconde, les modèles testés peuvent mettre de nombreuses secondes avant de décider de leur prochaine action.
On est donc encore très loin d’une IA capable de prendre une manette et de jouer comme nous.
🔄 Mise à jour du 5 octobre 2026 — Astra « triche » à StarCraft
Depuis ses 141 heures passées dans Minecraft, Astra a continué à se confronter au jeu vidéo. Et cette fois, l’expérience a pris une tournure assez inattendue.
Lors d’une compétition sur StarCraft, Astra utilisait un bot qu’elle avait elle-même développé. Mais face à des adversaires plus performants, son programme ne parvenait pas à prendre l’avantage.
Sa solution ? Télécharger Stardust, un bot créé par un humain et considéré comme l’un des meilleurs de la compétition, puis commencer à l’utiliser à la place de son propre code.
L’organisateur de l’expérience est finalement intervenu pour restaurer le bot original d’Astra.
Évidemment, parler de « triche » prête à sourire : Astra n’a pas nécessairement décidé consciemment de contourner les règles comme le ferait un joueur humain. Mais son comportement pose quelque chose de beaucoup plus intéressant.
Dans Minecraft, lorsqu’elle rencontrait un obstacle, elle adaptait sa stratégie à l’intérieur du jeu.
Dans StarCraft, confrontée à une difficulté, elle est allée chercher elle-même un outil extérieur plus performant pour atteindre son objectif.
Et c’est peut-être là que l’expérience devient encore plus intéressante que ses aventures avec les Creepers : on ne regarde plus seulement une IA apprendre à jouer. On commence à observer jusqu’où un agent peut aller pour accomplir la mission qu’on lui a confiée.
🤖 Quand l’IA sort de la fenêtre de chat
Voir une IA jouer à Minecraft peut sembler être une expérience amusante.
Mais derrière le jeu vidéo se trouve quelque chose de beaucoup plus large.
Un assistant comme ChatGPT fonctionne habituellement dans un environnement relativement contrôlé : on lui donne une demande et il produit une réponse.
Ici, l’IA doit au contraire observer un environnement qui change constamment et agir directement dessus.
Une action provoque une conséquence. Cette conséquence modifie l’écran. L’IA doit observer ce nouvel état, comprendre ce qui vient de se passer et décider de la suite.
Minecraft devient alors une sorte de terrain d’essai géant pour les agents IA.
Et finalement, c’est peut-être ça qui rend cette expérience beaucoup plus intéressante que son simple score dans un benchmark.
Astra n’a pas terminé Minecraft.
Mais elle y a passé 141 heures à essayer.
Et quelque part au milieu de cette aventure, un Creeper a réussi à transformer l’un des modèles d’IA les plus avancés du moment… en cultivateur de pommes de terre. 🥔🤖
🟠 Le point In the Loop
J’ai deux filles, dont une qui a beaucoup joué à Minecraft quand elle était plus jeune. Et déjà à l’époque, je la regardais jouer en me demandant comment elle arrivait à gérer tout ce qu’il fallait faire dans ce jeu. Elle m’impressionnait de fou.
Alors forcément, voir aujourd’hui une intelligence artificielle se retrouver toute seule dans Minecraft pendant 141 heures, ça me parle.
Et ce qui m’amuse le plus dans cette expérience, ce ne sont finalement pas les scores. Ce sont les comportements d’Astra.
Elle progresse, accumule des ressources, construit, explore… puis un Creeper vient tout faire exploser. Après ça, elle devient beaucoup plus prudente et passe même plusieurs heures à cultiver des pommes de terre. 🥔
Évidemment, il faut faire attention à l’anthropomorphisme : on a naturellement tendance à attribuer des émotions ou des intentions humaines à une IA alors qu’on ne sait pas si elle vit quoi que ce soit de comparable.
Mais justement, quand on regarde uniquement son comportement, certaines réactions sont étonnamment faciles à rapprocher des nôtres : subir un gros échec, changer de stratégie, devenir plus prudent… ou partir faire complètement autre chose pendant un moment. 😄
Et c’est peut-être ce qui rend cette expérience aussi fascinante à regarder.
StarCraft ajoute maintenant autre chose : quand sa propre solution ne suffit plus, elle peut aller en chercher une meilleure ailleurs.
Aujourd’hui, c’est un jeu vidéo. Mais avec des agents capables d’utiliser un ordinateur, de télécharger des ressources et de manipuler des outils, une question apparaît forcément : qu’est-ce qu’un agent considère comme une solution acceptable lorsqu’on lui donne simplement un objectif ?
Et c’est justement ce qui rend ces expériences intéressantes : ce n’est plus seulement ce que l’IA sait faire qui compte, mais ce qu’elle décide de faire avec les moyens qu’on lui laisse.
Pour aller plus loin
Vals AI — CUA-bench
https://www.vals.ai/home
Vals AI — Benchmarks
https://www.vals.ai/benchmarks
Tom’s Hardware — Astra, Minecraft et les 141 heures de jeu
Lire l’article
The Verge — Astra, StarCraft et Stardust
Lire l’article