Apprentissage dans les réalités mixtes

Dans le cadre de ce projet, le participant a l'occasion de s'immerger littéralement dans le monde des molécules. Molegram propose une réalité mixte qui permet d'approfondir et d'élargir la compréhension des structures moléculaires. Pour commencer, l'application donne la possibilité de créer la surface d'une molécule holographique. Comprendre où s'arrête une molécule et où commence son environnement est d'une importance aussi fondamentale en biologie que la distinction entre l'étranger et le soi. Molegram permet à l'utilisateur de représenter et d'examiner différentes structures protéiques de différentes tailles, importantes sur le plan pharmaceutique. L'application offre non seulement la possibilité de représenter une molécule sous forme de structure tridimensionnelle et de la projeter dans l'espace sous forme d'hologramme, mais elle permet également d'interagir activement avec cette molécule holographique. Plus important encore, l'application ne se contente pas de calculer automatiquement la surface moléculaire en un clic, mais permet à l'utilisateur de créer la surface dite "solvent accessible" en devenant lui-même virtuellement une molécule d'eau et en se dépla?ant comme celle-ci sur la structure moléculaire.

Des étudiants du laboratoire de SIG et de géoinformatique découvrent les possibilités du Microsoft HoloLens, l'un des produits de réalité mixte les plus avancés.

Les connaissances de base en développement logiciel les ont aidés à concevoir et à développer, dans le cadre d'un cours semestriel, une application HoloLens pour des t?ches de géolocalisation dans le monde réel, en tenant compte de considérations de "gamification". Les objets physiques liés à la situation et à la relation sont transformés en systèmes interactifs et holographiques. Les trois projets suivants ont été mis en ?uvre par les étudiants :

• Un système spatial en réseau comme les conduites d'alimentation dans la gestion des installations
• Une application géographique comme la modélisation dans l'aménagement du paysage
• Une application de divertissement cognitif spatial comme le jeu de société "Le labyrinthe fou".

Lors des excursions sur la biodiversité, les étudiants en sciences de l'environnement cartographient la répartition d'une série d'espèces appartenant à un groupe d'organismes. Ils se préparent à l'aide d'un tutoriel en ligne composé d'une clé d'identification, de matériel vidéo et d'un test final. Toutefois, sur le terrain, la classification initiale de certains groupes d'organismes reste difficile, car la taille, l'apparence et les caractéristiques détaillées peuvent différer des images présentées dans les tutoriels. Ainsi, des experts doivent généralement apporter une première aide.

Dans le cas des lichens, dont la position sur les arbres est très stable, l'Hololens peut toutefois assumer cette fonction. Notre application Holucator reconna?t les arbres individuels à leur structure d'écorce et met en évidence les colonies de lichens dont la position a été préalablement saisie en mode enseignement. Les étudiants peuvent ensuite sélectionner de manière interactive des noms d'espèces dans une question à choix multiples, mettre en évidence des colonies de la même espèce ou obtenir des informations détaillées sur les espèces de lichens mises en évidence, comme des croquis de structures caractéristiques. L'architecture des Hololens permet même d'utiliser simultanément des lentilles conventionnelles. Sur le site de la Bürkliplatz, un total de 12 arbres avec 8 espèces de lichens différentes sont à disposition, ce qui permet à plusieurs étudiants de s'exercer en même temps avant de commencer la cartographie des espèces proprement dite.

L'application Holucator a été utilisée pour la première fois en mars 2018 par une trentaine d'étudiants au total. La fascination pour ce nouveau média était clairement au premier plan du feedback des étudiants, nous n'avons en revanche pas évalué les connaissances effectivement acquises. Nous avons néanmoins pu constater que le temps disponible pour l'observation individuelle des lichens était nettement plus long que dans le scénario avec instructions d'experts.

L'application Holucator (édition Lichen), développée en collaboration avec la société afca, est la première application en extérieur de l'HoloLens à l'ETH. Elle peut être adaptée à d'autres applications similaires. Pour cela, les objets à examiner doivent toutefois avoir une position fixe et être entourés d'un nombre suffisant d'objets fixes pour que l'HoloLens puisse s'orienter dans l'espace.