Un système mis au point par des chercheurs de l’université de Waterloo permet à des personnes de collaborer avec des groupes de robots pour créer des œuvres d’art inspirées par la musique.
La nouvelle technologie comprend plusieurs robots à roues de la taille d’un ballon de football qui projettent des lumières colorées lorsqu’ils se déplacent à l’intérieur d’une zone fixe sur le sol en réponse à des caractéristiques clés de la musique, notamment le tempo et la progression de l’accord.
Une caméra enregistre les traînées lumineuses coordonnées lorsqu’elles serpentent dans cette zone, qui sert de toile pour la création d’un "tableau" ou d’une représentation visuelle du contenu émotionnel d’un morceau de musique particulier.
"En fait, nous avons programmé un essaim de robots pour qu’ils peignent sur la base d’un signal musical", explique Gennaro Notomista, professeur d’ingénierie électrique et informatique à Waterloo.
"Le résultat est un système cohérent qui non seulement traite les données musicales, mais coordonne également plusieurs robots peintres pour créer des œuvres d’art adaptatives et expressives qui reflètent l’essence émotionnelle de la musique jouée
Les robots représentent l’émotion lorsqu’ils "écoutent" la musique par le biais des couleurs, de l’intensité et de la largeur de leurs traînées lumineuses, ainsi que de leur position sur la toile et de la vitesse à laquelle ils se déplacent à l’intérieur de celle-ci.
L’homme peut simultanément influencer une peinture en cours à l’aide de commandes permettant de modifier la largeur des traînées lumineuses et leur emplacement sur la toile virtuelle.
"Nous avons inclus les commandes humaines pour permettre aux hommes et aux robots de travailler ensemble", a déclaré M. Notomista, qui s’intéresse notamment à l’intersection de l’art et de la technologie. "Le peintre humain doit compléter et être complété par ce que font les robots
Le premier défi des chercheurs a été de développer un algorithme permettant de contrôler plusieurs robots dans une zone donnée. Ils ont testé le système avec un maximum de 12 robots, mais il peut être adapté à n’importe quel nombre.
La deuxième étape a consisté à créer une technologie permettant d’extraire et d’analyser les caractéristiques musicales qui expriment les émotions, afin de les traduire en traînées lumineuses qui les représentent de manière appropriée.
Les enseignements tirés de ce projet pourraient trouver des applications dans d’autres domaines nécessitant le contrôle et la coordination de plusieurs robots travaillant à l’unisson, tels que la surveillance de l’environnement, l’agriculture de précision, les missions de recherche et de sauvetage et l’exploration planétaire.
Cette recherche s’inscrit également dans le cadre de l’initiative Global Futures de l’université de Waterloo, qui encourage les travaux interdisciplinaires portant sur la manière dont les technologies émergentes peuvent façonner la société, la culture et l’expérience humaine.
Par la suite, Notomista prévoit d’engager des peintres et des musiciens professionnels pour explorer les possibilités du nouvel outil dans le cadre d’études d’utilisateurs et d’expositions publiques.
Un article sur le système, Music-driven Robot Swarm Painting , rédigé par Notomista et Jingde Cheng, un ancien étudiant diplômé de Waterloo, a été présenté à la 2025 IEEE International Conference on Advanced Robotics and its Social Impacts (conférence internationale de l’IEEE sur la robotique avancée et ses répercussions sociales).
