Comment des chercheurs de haut niveau attirent des entreprises internationales en Suisse
Gr?ce à son excellente réputation, l'ETH attire des chercheurs de pointe du monde entier. Cela attire à son tour des entreprises internationales comme Microsoft à Zurich.
Un groupe de jeunes gens se promène en diagonale dans le hall d'accueil du b?timent principal de l'ETH. Ils portent des lunettes à l'allure futuriste. Ce qui ressemble à un gadget a en fait une connotation scientifique : les personnes qui déambulent sont des étudiants qui mesurent l'espace avec leurs lunettes de données. Ainsi, cet espace pourra un jour être "joué" avec des hologrammes - et abolir les frontières entre le monde réel et le monde virtuel. Les différentes caméras des lunettes collectent des points de repère visuels qui servent de références - et qui seront à l'avenir toujours reconnus, quel que soit l'endroit où l'on se trouve dans l'espace.
Marc Pollefeys, professeur d'informatique à l'ETH Zurich, est à l'aise dans ce monde futuriste. Un monde qui s'appelle réalité mixte et qui, le professeur en est convaincu, fera partie du quotidien de nombreuses personnes dans quelques années. Pollefeys fait des recherches sur la manière dont ces deux mondes, le réel et le virtuel, peuvent être combinés de la manière la plus transparente possible.
C'est gr?ce à ce professeur de l'ETH que Microsoft étudie aujourd'hui les réalités augmentées et l'intelligence artificielle (IA) à Zurich. Pollefeys avait aidé le groupe technologique à développer les lunettes de réalité mixte HoloLens 2 lors d'un congé sabbatique aux ?tats-Unis. Lorsque l'informaticien belge est retourné à sa chaire à Zurich après deux ans, Microsoft n'a pas voulu renoncer à son travail et a fondé en 2018, avec l'ETH Zurich comme partenaire, le Microsoft Mixed Reality & AI Lab à Zurich. En plus de ses activités d'enseignement et de recherche à l'ETH, Pollefeys dirige aujourd'hui ce centre.
Domaine de recherche : vision par ordinateur
Marc Pollefeys a été professeur assistant pendant trois ans à l'Université de Caroline du Nord avant de venir à Zurich en 2007 en tant que professeur - une décision simple pour lui. "L'ETH dispose d'excellents collaborateurs dans tous les domaines de recherche, et pas seulement dans le mien. C'était très important pour moi dans la perspective d'une éventuelle collaboration. Et aussi pour attirer d'autres collègues talentueux". Pollefeys n'a pas été dé?u : "Je peux réaliser à l'ETH de nombreux projets communs passionnants - sur un pied d'égalité avec d'autres excellents chercheurs".
Dès le début, Pollefeys s'est consacré à la vision par ordinateur, une branche de l'IA. La vision par ordinateur entra?ne les ordinateurs à saisir et à interpréter des informations à partir de données d'images et de vidéos. L'objectif est de créer, à l'aide de modèles d'apprentissage automatique, des systèmes numériques capables de traiter, d'analyser et de comprendre des données visuelles comme le font les humains.
Un système entra?né à la surveillance d'installations de production, par exemple, peut contr?ler des milliers de produits ou de processus par minute et percevoir des défauts ou des problèmes à peine détectables par l'homme. La vision par ordinateur est utilisée dans différents secteurs, de l'énergie et des services publics à l'industrie manufacturière et automobile.
Nouvelles possibilités d'application
La combinaison de la vision par ordinateur et de la réalité mixte, dans laquelle notre perception naturelle est complétée par une perception générée artificiellement, permet de créer des environnements entièrement nouveaux pour les utilisateurs. Il en résulte des possibilités d'applications innovantes et s?res.
"? l'ETH Zurich, je peux réaliser de nombreux projets communs passionnants - sur un pied d'égalité avec d'autres excellents chercheurs."Marc Pollefeys, professeur au D-INFK et directeur du Microsoft Mixed Reality & AI Lab
Cela est rendu possible par des lunettes de réalité mixte comme les HoloLens. Elles sont équipées de différents capteurs et caméras pour suivre par exemple les mouvements des yeux, reconna?tre les gestes, les objets et la parole. En outre, les espaces sont saisis en trois dimensions afin de pouvoir calculer la position et l'emplacement des objets dans ces espaces. C'est la base pour créer des objets numériques en 3D dans HoloLens.
Avec de telles lunettes, il est par exemple possible de visualiser directement sur place des schémas électriques ou un plan de construction numérique d'un objet ou d'un b?timent. "En superposant le plan virtuel à la réalité, il est possible d'effectuer des t?ches sans avoir à regarder un plan au préalable", explique Pollefeys. Mais la réalité mixte peut aussi aider à former le personnel médical à des opérations délicates. Elle peut aussi permettre à des robots d'effectuer des t?ches dangereuses, car de simples gestes de la main permettent de les contr?ler à distance avec les HoloLens.
Des instructions en temps réel
Dans le contexte de l'automatisation, de l'Internet des objets (IoT) ainsi que de la pénurie générale de main-d'?uvre qualifiée, l'industrie a besoin de nouvelles approches de solutions, explique Marc Pollefeys : "Il faut des collaborateurs qui soient plus flexibles et capables d'effectuer de nombreuses t?ches différentes."
Des manipulations erronées, des applications incorrectes ou des erreurs de maintenance pourraient co?ter cher à une entreprise et s'avérer dangereuses pour les collaborateurs. Avec la réalité mixte, les utilisateurs re?oivent des informations numériques pertinentes au bon moment et dans le bon contexte. Par exemple, lorsqu'un professionnel se trouve devant une machine, des flèches et autres symboles peuvent le guider pas à pas dans une t?che exigeante ou nouvelle. Ou la personne peut avoir un aper?u des données d'état en direct de la machine gr?ce à l'affichage de capteurs IoT. Contrairement à la réalité virtuelle, où l'on est complètement immergé dans un monde créé artificiellement, la réalité mixte permet de continuer à voir l'environnement réel, tandis que des hologrammes 3D apparaissent dans le champ de vision de l'utilisateur.
Recherche, enseignement et application
En tant que directeur du Mixed Reality & AI Zurich Lab et responsable de la recherche chez Microsoft, Pollefeys dirige en Suisse une équipe de 25 scientifiques et ingénieurs. S'y ajoute un collaborateur à Prague - et 15 autres au siège principal à Redmond (USA). "Je suis fier d'avoir réussi à mettre sur pied une équipe bien mélangée, dotée de connaissances spécialisées de premier ordre et de grands talents", déclare Pollefeys. "Il en faut, car nous travaillons sur une technologie d'avenir dont nous ne savons pas encore exactement ce dont nous avons besoin et comment nous devons la construire". La technologie évolue rapidement et exige une grande flexibilité de la part de son équipe.
Pollefeys est employé à cinquante pour cent à l'ETH et à cinquante pour cent chez Microsoft. Il travaille, fait de la recherche et enseigne - divisé en différentes demi-journées et journées - sur deux sites différents et change de bureau à chaque fois. "L'organisation des différentes t?ches est ainsi plus simple et plus structurée pour moi".
Si la recherche de solutions pour une application spécifique de réalité mixte est délicate, il ne travaille sur le sujet qu'avec des collaborateurs de Microsoft, explique Pollefeys. Mais une séparation stricte entre la haute école et le groupe technologique n'a que très rarement un sens : "S'il s'agit d'un problème fondamental qui nécessite une solution générale et qu'il a un caractère de recherche fondamentale, alors nous collaborons avec l'ETH et Microsoft."
Parfois, l'informaticien rencontre un problème dans le cadre de son travail chez Microsoft, qu'il intègre alors pleinement dans l'enseignement et la recherche à l'ETH. "C'est généralement très passionnant pour les étudiants - et motivant, car ils savent qu'il s'agit d'un problème réel issu de la pratique".
"Notre collaboration avec l'ETH aboutit à des résultats exceptionnels qui stimulent l'innovation dans différents secteurs et contribuent à la position de la Suisse en tant que leader technologique mondial."Marc Holitscher, National Technology Officer chez Microsoft Switzerland
Que ce soit dans le cadre de son engagement chez Microsoft ou à l'ETH Zurich, les résultats de recherche sont, dans la mesure du possible, publiés et les codes partagés. Il collabore également avec d'autres entreprises, souligne Pollefeys. "En tant que chercheur, il est important pour moi de pouvoir garder un terrain neutre". De son chaire est par exemple né un algorithme clé qui a servi de base à la fonction de navigation Google Live View, aujourd'hui utilisée dans le monde entier.
Une situation gagnant-gagnant pour tous
Gr?ce à la collaboration avec l'ETH, Microsoft obtient un aper?u approfondi du domaine de recherche - et peut ainsi produire plus d'innovation. En tant qu'équipe de produits d'une entreprise, on évolue dans des liens plus étroits et on a moins de temps pour essayer de nouvelles choses, explique Pollefeys. La coopération avec l'ETH aide Microsoft à trouver de nouvelles approches et solutions.
C'est ce que confirme Marc Holitscher, National Technology Officer chez Microsoft Switzerland. "Notre collaboration avec l'ETH, et en particulier avec Marc Pollefeys, a déjà donné lieu à des résultats exceptionnels qui font avancer l'innovation dans différents secteurs et contribuent à la position de la Suisse en tant que leader technologique mondial", explique Holitscher. "Ensemble, nous continuerons à repousser les limites du possible et à utiliser la recherche de pointe, les talents et la technologie pour relever certains des défis les plus urgents du monde".
Mais la collaboration avec l'industrie est également un atout pour l'enseignement supérieur, souligne M. Pollefeys : "Tant les ingénieurs de Microsoft que nous, les professeurs, faisons part aux étudiants de problèmes et d'idées actuels et leur offrent d'une part des possibilités passionnantes sur lesquelles ils peuvent travailler, et d'autre part, ils peuvent également tester des idées et découvrir de nouvelles techniques appliquées".
La collaboration entre la haute école et le groupe technologique international est bénéfique pour toutes les parties : "Travailler avec les collaborateurs sur une question, leur faire explorer comment une nouvelle technique pourrait être utilisée pour résoudre un problème particulier, est intéressant aussi bien pour les étudiants que pour les développeurs de produits. De plus, les étudiants sont encadrés par une personne compétente qui a une grande connaissance du produit et de l'expérience et qui sait pourquoi une certaine étape pourrait être pertinente".
L'ETH profite également du fait que les professeurs ont des connaissances de base et une compréhension de l'industrie, souligne Pollefeys. "Mon travail chez Microsoft me donne un aper?u précieux de la prise de décision et de la manière dont les processus se déroulent dans une grande entreprise. Cela m'aide à voir l'ensemble du développement technologique dans un contexte plus large".
Enfin, les projets communs servent aussi à créer des liens au sein de l'ETH, comme Pollefeys l'avait imaginé en prenant son poste de professeur à Zurich. Ainsi, il travaille actuellement avec sa collègue Siyu Tang sur une nouvelle méthode de génération de données à partir d'avatars autonomes. "En 'montant' l'HoloLens sur ces personnages virtuels, nous obtenons beaucoup plus facilement les données dont nous avons besoin pour entra?ner et tester des algorithmes que si nous parcourons et mesurons nous-mêmes les pièces avec l'HoloLens".
Vers la personne
Marc Pollefeys est professeur au Département d'informatique de l'ETH Zurich. Il dirige en outre le Microsoft Mixed Reality & AI Lab à Zurich.
"Globe" En avant toute !
Ce texte a été publié dans le numéro 24/02 du magazine ETH. Globe paru dans le journal.