Les chercheurs Jingxu Gu et Dongze Lian, de l’Université de Nankin, font état d’un score global de 85,55 % pour DEED, leur méthode de manipulation robotique fine, au benchmark MetaFine qui comprend cinq tâches. Leur prépublication a été déposée sur arXiv le 29 octobre.
L’article compare ce score aux 43,01 % de référence publiés pour π0 ; il s’agit d’un résultat de benchmark communiqué par les auteurs.
DEED, acronyme de Demonstration Expansion and Execution Design, adapte une politique vision-langage-action préentraînée. Les auteurs indiquent qu’elle associe différentes instructions à une même scène initiale, produit de nouveaux rendus des trajectoires avec des positions de caméra et des éclairages différents tout en conservant les états et les actions cibles, puis utilise un échantillonnage hiérarchique pour équilibrer les données d’entraînement.
À l’exécution, la méthode convertit les séquences d’actions prédites en commandes robotisées au moyen de la cinématique inverse, de correspondances pince-tâche et d’une replanification en boucle fermée. Les cinq tâches du benchmark portent sur la préhension de pièces, les déplacements directionnels, l’actionnement d’interrupteurs, le tri d’objets et l’insertion de lettres.