Des agents d’IA créent des terrains de jeu virtuels pour aider les robots à obtenir des données d’entraînement cruciales
Les robots, de plus en plus visibles dans nos rues, ne sont pas encore les assistants polyvalents que l’on pourrait souhaiter dans des environnements tels que les cuisines ou les usines. Un des principaux obstacles à leur efficacité est le manque de données. Comme les humains, les robots apprennent mieux par l’expérience, mais il est laborieux et chronophage de leur enseigner toutes les actions nécessaires dans des contextes variés.
Pour surmonter ce défi, des chercheurs du MIT et du Toyota Research Institute ont développé un système nommé SceneSmith. Ce dernier utilise des agents d’intelligence artificielle pour créer des environnements virtuels réalistes dans lesquels les robots peuvent s’entraîner. Le système assemble des scènes en trois dimensions, intégrant des éléments comme des murs et des objets, ce qui permet aux robots de pratiquer des compétences avant d’être déployés dans le monde réel.
Les agents d’IA, appelés modèles de vision-langage (VLM), notamment le modèle de pointe GPT-5.2, jouent un rôle clé dans la création de ces environnements. Un agent « designer » génère les éléments d’une scène, un agent « critique » évalue leur réalisme, et un « orchestrateur » gère le processus créatif. Ce système a permis de créer plus de 1 300 scènes variées, offrant ainsi des environnements d’apprentissage riches pour les robots.
Les chercheurs ont également testé différentes stratégies d’action dans ces mondes numériques, générant 100 espaces uniques. Les évaluations des agents ont révélé que les plans des robots étaient souvent défectueux, un constat validé par des experts humains dans plus de 99 % des cas. Cela pourrait permettre aux ingénieurs de corriger des approches erronées avant de les tester dans le monde physique.
SceneSmith a été bien accueilli, avec plus de 200 utilisateurs le jugeant plus réaliste dans 90 % des cas. Le système a également démontré sa capacité à créer des objets en trois dimensions avec des propriétés physiques, bien que cela entraîne un temps de production prolongé, pouvant atteindre plusieurs heures par scène.
Cette avancée pourrait transformer la manière dont les robots apprennent et interagissent avec leur environnement, rendant leur déploiement plus efficace et moins risqué.
Source : MIT News
