Insuffler de la vie aux pixels vidéo
Des personnes virtuelles autonomes qui se déplacent et se comportent de manière naturelle, telle est la vision de Siyu Tang. L'informaticienne s'inspire notamment de nos modèles de comportement. La collaboration avec des architectes et des chirurgiens lui fournit d'autres éléments - et révèle également l'énorme potentiel des êtres humains virtuels.
Lorsque Siyu Tang collabore avec les professeurs d'architecture de l'ETH Fabio Gramazio et Matthias Kohler dans le projet "Flight Assembled Architecture (FAA) Revisited" pour le musée Guggenheim de Bilbao, la directrice du Computer Vision and Learning Group de l'Institut de Visual Computing de l'ETH réunit deux grandes fascinations de sa jeunesse : "Lors du choix de mes études, j'ai d? choisir entre l'architecture et l'informatique. A l'ETH, je peux maintenant, en tant qu'informaticienne, collaborer de manière multidisciplinaire avec des architectes de classe mondiale. C'est pour moi une combinaison parfaite".
En collaboration avec des sommités d'autres domaines
Tang est une spécialiste de la capture et de la modélisation de personnes virtuelles à partir d'images. Elle travaille depuis deux ans et demi comme professeure assistante à l'ETH Zurich. Pour elle, l'environnement qui rend possible une telle collaboration fait partie des grands atouts de la haute école. "Des sommités mondialement reconnues travaillent dans de nombreux domaines de recherche", souligne Tang. Cela permet de réaliser des projets multidisciplinaires qui ne seraient pas possibles autrement à un niveau aussi élevé.
Pour le projet "FAA Revisited", l'équipe de Tang a peuplé la ville piétonne verticale construite par des drones avec des avatars autonomes (voir vidéo). Les informaticiens ont pu s'appuyer sur leurs travaux de recherche antérieurs sur la modélisation d'êtres humains virtuels qui se déplacent naturellement dans leur environnement pendant de longues périodes : "La grande différence entre les projets de recherche et les questions issues du monde réel réside dans les exigences de stabilité et de généralisation des technologies en tenant compte de toutes les conditions imaginables. Les avatars du projet 'FAA Revisited' doivent pouvoir se déplacer dans la ville pratiquement pour toujours et dans toutes les situations possibles".
La cadence comportementale apporte la stabilité
Pour rendre cela possible, l'équipe de Tang s'est appuyée sur des connaissances issues de la biologie comportementale. En effet, à l'instar des prévisions météorologiques à long terme, les algorithmes utilisés jusqu'à présent s'égaraient de plus en plus dans leurs décisions directionnelles lorsqu'ils étaient utilisés sur une longue période, en raison des possibilités pratiquement infinies qui s'offraient à eux. Il en résultait des modèles de mouvements peu naturels et des conflits logiques.
L'équipe de Tang a maintenant défini les 0,25 secondes qui s'écoulent avant qu'un être humain ne per?oive consciemment quelque chose et ne puisse réagir par un mouvement, par exemple, comme l'intervalle pendant lequel l'algorithme de mouvement prend des décisions directionnelles. Le séquen?age du mouvement dans cette "cadence" comportementale, combiné à l'introduction d'une composante statistique aléatoire dans chaque décision directionnelle, a des conséquences profondes. D'une part, le mouvement est stabilisé à long terme et, d'autre part, il présente également une variabilité digne de la vie.
Simulations pour la formation des chirurgiens
Peupler la maquette d'architecture n'est pas le seul projet multidisciplinaire que Tang a entrepris jusqu'à présent en Suisse. Depuis le printemps, son équipe collabore à un deuxième projet ambitieux. Sous la direction de l'H?pital cantonal de Saint-Gall, du Centre hospitalier universitaire vaudois (CHUV) et de la Clinique universitaire Balgrist, l'ETH Zurich et la ZHAW (Haute école zurichoise des sciences appliquées) développent des outils de simulation en collaboration avec des partenaires industriels. Il s'agit d'élever la formation des chirurgiens à un nouveau niveau (cf. vidéo). L'objectif est de mettre en place des cours standardisés avec un relevé de prestations comparable à une formation pilote. Les chirurgiens doivent à l'avenir pouvoir perfectionner leur métier sur des simulateurs immersifs. Jusqu'à présent, la formation se déroule presque exclusivement pendant des opérations réelles ou sur des cadavres. Cela limite considérablement les possibilités d'exercice individuel.
S'appuyer sur le travail de la mère
Les spécialistes du traitement visuel des données n'en sont encore qu'au début de leur travail et les défis sont de taille : comment reproduire de manière réaliste les saignements importants, les mouvements rapides des chirurgiens ou les différentes structures tissulaires dans la réalité augmentée et dans les appareils de réalité virtuelle ? Tang s'attend à ce que son équipe doive évaluer des prises de vue d'opérations réelles sous tous les angles possibles et les intégrer dans un modèle. Celui-ci doit être capable d'apprendre efficacement et d'être visualisé en temps réel.
Pour la jeune scientifique, qui a grandi en Chine, ce projet est une motivation personnelle supplémentaire : lorsqu'elle était petite, sa mère, ophtalmologue, est partie deux ans en Mauritanie pour soigner des patients et former des collègues. Elle peut maintenant s'en inspirer : "L'entra?nement sur simulateur peut faire faire d'énormes progrès à la médecine dans les pays en développement. Le fait que je puisse ainsi poursuivre indirectement le travail de ma mère est pour moi une source de satisfaction supplémentaire".
De l'université à l'industrie et vice-versa
Le parcours de Tang montre également qu'elle n'évite pas les défis pratiques. Après son Bachelor en informatique obtenu à l'Université du Zhejiang, elle n'a pas immédiatement suivi une voie académique. Elle est plut?t passée de l'université d'élite chinoise au secteur privé en développant des logiciels pour des appareils électroniques grand public. "Mais au bout de deux ans, j'en ai eu assez", remarque en riant la chercheuse, qui dégage une grande passion pour son domaine et son équipe.
Elle ne voulait ensuite pas simplement obtenir son dipl?me de master en Chine, mais en Europe : "De nombreux appareils et instruments de grande qualité, utilisés par ma mère médecin et mon père ingénieur en mécanique, venaient d'Allemagne. De plus, le pays est situé au c?ur de l'Europe. C'est idéal pour découvrir les différents pays".
Le transfert de l'Allemagne, où elle a déjà dirigé un premier groupe de recherche à l'Institut Max-Planck des systèmes intelligents de Tübingen, à Zurich est une aubaine pour Tang, et pas seulement d'un point de vue scientifique. "Pour notre fils de quatre ans et demi, la ville est un paradis. Le lac, les nombreuses aires de jeux, les forêts environnantes et les montagnes toutes proches. Nous pouvons faire tellement de choses ensemble en famille ici".
Une voie égocentrique vers un comportement naturel
Tang a également de grandes ambitions pour ses projets de recherche. En plus des mouvements naturels, les personnes virtuelles devront à l'avenir se comporter de manière naturelle. Dans le modèle du projet Flight-Assembled-Architecture, ils ne se déplaceront plus seulement au hasard dans les pièces, mais interagiront entre eux et avec l'environnement comme de vraies personnes.
Pour Tang, la clé des interactions naturelles réside dans une vision des avatars centrée sur le moi. Comme de vraies personnes, ils doivent créer un modèle de leur environnement à partir de leur propre perspective et en tirer un comportement individuel.
Impact au-delà de la science
L'architecture n'est pas le seul domaine d'application dans lequel des êtres humains virtuels au comportement naturel permettront des options inédites. On attend avec impatience de voir dans quels projets multidisciplinaires les hommes virtuels de Tang vont ensuite déployer leur potentiel : "Il est difficile d'imaginer une meilleure situation de travail qu'ici à l'ETH. Je peux enthousiasmer mon équipe de recherche avec mes visions et nous pouvons, avec d'autres groupes de recherche, faire avancer les choses au-delà des connaissances scientifiques."