Après s’être entraîné avec d’innombrables vidéos, fils de discussion Reddit et articles wiki, MineDojo peut convertir des commandes vocales en actions Minecraft.
Avec MineDojo, les chercheurs de Nvidia ont développé une intelligence artificielle qui convertit les commandes vocales en actions dans le jeu populaire Minecraft. L’agent, formé avec d’innombrables vidéos YouTube, fils Reddit et entrées wiki, a même récemment remporté des prix NeurIPS avec lui.
Les chercheurs de Nvidia clarifient les prix NeurIPS 2022 avec MineDojo
Nvidia a annoncé lundi que deux des articles de recherche de la société avaient remporté les prix NeurIPS 2022 pour leurs contributions aux domaines de l’intelligence artificielle (IA) et de l’apprentissage automatique. L’un des sujets était MineDojo, un agent d’intelligence artificielle capable d’effectuer des actions dans le jeu Minecraft en fonction de la voix.
Pour former MineDojo, les chercheurs ont alimenté les images de gameplay de l’IA à partir de 730 000 vidéos YouTube avec plus de 2,2 milliards de mots transcrits, selon Ars Technica. Le contenu de 7 000 sites Web du wiki Minecraft, 340 000 messages Reddit et 6,6 millions de commentaires de la même plate-forme ont également afflué.
Les chercheurs ont ensuite intégré les données collectées dans un modèle de base appelé MineCLIP. Cela crée enfin un lien entre le contenu parlé d’une vidéo et les activités du jeu Minecraft. Car notamment dans les vidéos de gameplay, les joueurs commentent souvent les actions qu’ils effectuent, ce qui est particulièrement utile pour l’entraînement.
Un agent IA exécute des commandes vocales dans Minecraft
En conséquence, un humain peut dire à MineDojo en langage naturel exactement ce que l’IA doit faire dans le jeu. Il peut s’agir de commandes telles que « Construisez un portail inférieur et entrez-y » ou « Trouver une pyramide du désert“. L’algorithme effectue ensuite les étapes nécessaires pour atteindre l’objectif indiqué dans Minecraft.
Le but du projet est que MineDojo puisse généraliser les actions apprises et les transférer dans différentes situations de jeu. Selon Nvidia, il existe depuis longtemps des agents IA pour des jeux comme StarCraft ou Dota. Mais laissez ces «généralement spécialisé dans quelques tâches.«
Les chercheurs de Nvidia, quant à eux, souhaitaient développer un cadre de formation évolutif pour un agent généraliste »,qui peut accomplir avec succès une variété de tâches ouvertes.» L’équipe s’est donc tournée vers Minecraft, le jeu le plus populaire au monde.
Si vous voulez voir MineDojo en action, vous pouvez le faire sur le site officiel du projet. Le code source de l’agent AI, ainsi que celui de MineCLIP, est disponible sur GitHub.
