Apprentissage dans les réalités mixtes
![HoloLens en action](/de/die-eth-zuerich/lehre/innovation/mixed-realities/_jcr_content/par/fullwidthimage/image.imageformat.1286.2100813791.jpg)
Dans les réalités mixtes, les utilisateurs évoluent dans des systèmes et des environnements dans lesquels la perception naturelle de l'apprenant se mêle à une perception artificielle. Pour l'utilisateur, les éléments virtuels sont ancrés dans le monde réel et sont donc per?us comme des objets "réels". Cette possibilité devrait également avoir une influence considérable sur l'enseignement (par exemple pour les objets qui sont trop petits ou cachés dans la réalité). Fin 2016, Microsoft a rendu le HoloLens, le premier appareil tout-en-un pour des représentations holographiques en 3D, accessible à un plus large public. Les réalités mixtes sont ainsi devenues possibles dans le contexte de l'apprentissage. Le LET a évalué pour l'ETH dans quel contexte didactique cette technologie pourrait offrir une plus-value et ainsi favoriser l'apprentissage et la compréhension des étudiants.
Le projet "Apprentissage en réalités mixtes" avait été lancé à cette fin. Dans le cadre de ce projet, le LET a soutenu les enseignants et mis en réseau les activités à l'ETH. Douze HoloLenses ont été mises à disposition et l'accès aux ressources et aux partenaires de développement ainsi qu'aux spécialistes de Microsoft a été fourni.
Le projet "Apprendre dans les réalités mixtes" a été soutenu par la Fondation Adrian Weiss.
Projets HoloLens réalisés à l'ETH Zurich :
![Vue agrandie : hololens_afca](/de/die-eth-zuerich/lehre/innovation/mixed-realities/_jcr_content/par/accordion/accordionitem/par/textimage/image.imageformat.text50percent.1370352357.jpg)
Dans le cadre de ce projet, le participant a l'occasion de s'immerger littéralement dans le monde des molécules. Molegram propose une réalité mixte qui permet d'approfondir et d'élargir la compréhension des structures moléculaires. Pour commencer, l'application donne la possibilité de créer la surface d'une molécule holographique. Comprendre où s'arrête une molécule et où commence son environnement est d'une importance aussi fondamentale en biologie que la distinction entre l'étranger et le soi. Molegram permet à l'utilisateur de représenter et d'examiner différentes structures protéiques de différentes tailles, importantes sur le plan pharmaceutique. L'application offre non seulement la possibilité de représenter une molécule sous forme de structure tridimensionnelle et de la projeter dans l'espace sous forme d'hologramme, mais elle permet également d'interagir activement avec cette molécule holographique. Plus important encore, l'application ne se contente pas de calculer automatiquement la surface moléculaire en un clic, mais permet à l'utilisateur de créer la surface dite "solvent accessible" en devenant lui-même virtuellement une molécule d'eau et en se dépla?ant comme celle-ci sur la structure moléculaire.
![Vue agrandie : molegram_explorer](/de/die-eth-zuerich/lehre/innovation/mixed-realities/_jcr_content/par/accordion/accordionitem/par/textimage_423025663/image.imageformat.text50percent.1126183725.png)
Il devient ainsi possible d'observer les "ups and downs" de la surface au sens propre du terme. expérimenter. Gr?ce à Molegram, l'utilisateur peut observer et examiner l'hologramme moléculaire de l'intérieur et de l'extérieur sous tous les angles. Il n'est plus nécessaire de faire tourner la molécule dans tous les sens à l'aide de la souris sur l'écran de l'ordinateur, mais gr?ce à Molegram, l'utilisateur entre dans le monde virtuel de la molécule et la fait devenir un objet holographique de notre monde réel.
Ce concept inédit et innovant offre, via l'interaction homme-machine, de nouvelles voies dans la perception des molécules et dans l'analyse chimique structurelle.
Le projet a été réalisé en étroite collaboration avec la société afca [page externewww.afca.cha été réalisée. L'application Molegram est disponible gratuitement à l'ETH Zurich à des fins d'enseignement.
Actualités ETH Article : https://www.ethz.ch/de/news-und-veranstaltungen/eth-news/news/2018/02/hololens.html
Site web du projet : http://www.cadd.ethz.ch/education/hololense.html
Cours : 535-0023-00L Computer-Assisted Drug Design (Practical Course), semestre d'automne 2017
Chaire : Conception de médicaments assistée par ordinateur (cadd.ethz.ch), Institute of Pharmaceutical Sciences
Contact : Dr. Jan Hiss, , Prof. Dr. Gisbert Schneider
![Vue agrandie : geoinfk_2](/de/die-eth-zuerich/lehre/innovation/mixed-realities/_jcr_content/par/accordion/accordionitem_1093774238/par/textimage/image.imageformat.text50percent.580041750.png)
Des étudiants du laboratoire de SIG et de géoinformatique découvrent les possibilités du Microsoft HoloLens, l'un des produits de réalité mixte les plus avancés.
Les connaissances de base en développement logiciel les ont aidés à concevoir et à développer, dans le cadre d'un cours semestriel, une application HoloLens pour des t?ches de géolocalisation dans le monde réel, en tenant compte de considérations de "gamification". Les objets physiques liés à la situation et à la relation sont transformés en systèmes interactifs et holographiques. Les trois projets suivants ont été mis en ?uvre par les étudiants :
- Un système spatial en réseau comme les conduites d'alimentation dans la gestion des installations
- Une application géographique comme la modélisation dans l'aménagement du paysage
- Une application de divertissement cognitif spatial comme le jeu de société "Le labyrinthe fou".
![Vue agrandie : geoinfk_3](/de/die-eth-zuerich/lehre/innovation/mixed-realities/_jcr_content/par/accordion/accordionitem_1093774238/par/textimage_531911010/image.imageformat.text50percent.1030272698.png)
Les étudiants ont été soutenus dans leur projet par des tuteurs et ont eu accès à la littérature spécialisée et à la technologie correspondantes, tout en bénéficiant d'un accompagnement critique. Les résultats de ces projets peuvent être vécus comme des applications "immersives", dans lesquelles des objets géographiques virtuels sont placés sur et autour d'objets du monde réel et avec lesquels on interagit.
![Vue agrandie : geoinfk_1](/de/die-eth-zuerich/lehre/innovation/mixed-realities/_jcr_content/par/accordion/accordionitem_1093774238/par/textimage_337465370/image.imageformat.text50percent.684230305.png)
Les résultats montrent également dans quelle mesure des étudiants sans grandes connaissances préalables, peuvent construire de telles applications. Sur la base de ces résultats, les approches d'enseignement peuvent être transférées à d'autres facultés comme la biologie, la chimie ou l'architecture.
Cours : GIS and Geoinformatics Lab (103-0778-00L), semestre d'automne 2017
Chaire : Chair of Geoinformation Engineering
Encadrement : David Rudi, Fabian G?bel, Christian Sailer, Dominik Bucher
Contact : Christian Sailer,
![Vue agrandie : AR_Refresh_Teaching](/de/die-eth-zuerich/lehre/innovation/mixed-realities/_jcr_content/par/accordion/accordionitem_324991857/par/textimage/image.imageformat.text50percent.1217059112.jpg)
Lors des excursions sur la biodiversité, les étudiants en sciences de l'environnement cartographient la répartition d'une série d'espèces appartenant à un groupe d'organismes. Ils se préparent à l'aide d'un tutoriel en ligne composé d'une clé d'identification, de matériel vidéo et d'un test final. Toutefois, sur le terrain, la classification initiale de certains groupes d'organismes reste difficile, car la taille, l'apparence et les caractéristiques détaillées peuvent différer des images présentées dans les tutoriels. Ainsi, des experts doivent généralement apporter une première aide.
Dans le cas des lichens, dont la position sur les arbres est très stable, l'Hololens peut toutefois assumer cette fonction. Notre application Holucator reconna?t les arbres individuels à leur structure d'écorce et met en évidence les colonies de lichens dont la position a été préalablement saisie en mode enseignement. Les étudiants peuvent ensuite sélectionner de manière interactive des noms d'espèces dans une question à choix multiples, mettre en évidence des colonies de la même espèce ou obtenir des informations détaillées sur les espèces de lichens mises en évidence, comme des croquis de structures caractéristiques. L'architecture des Hololens permet même d'utiliser simultanément des lentilles conventionnelles. Sur le site de la Bürkliplatz, un total de 12 arbres avec 8 espèces de lichens différentes sont à disposition, ce qui permet à plusieurs étudiants de s'exercer en même temps avant de commencer la cartographie des espèces proprement dite.
L'application Holucator a été utilisée pour la première fois en mars 2018 par une trentaine d'étudiants au total. La fascination pour ce nouveau média était clairement au premier plan du feedback des étudiants, nous n'avons en revanche pas évalué les connaissances effectivement acquises. Nous avons néanmoins pu constater que le temps disponible pour l'observation individuelle des lichens était nettement plus long que dans le scénario avec instructions d'experts.
L'application Holucator (édition Lichen), développée en collaboration avec la société afca, est la première application en extérieur de l'HoloLens à l'ETH. Elle peut être adaptée à d'autres applications similaires. Pour cela, les objets à examiner doivent toutefois avoir une position fixe et être entourés d'un nombre suffisant d'objets fixes pour que l'HoloLens puisse s'orienter dans l'espace.
![Vue agrandie : SplashScreen](/de/die-eth-zuerich/lehre/innovation/mixed-realities/_jcr_content/par/accordion/accordionitem_324991857/par/textimage_2096390183/image.imageformat.text50percent.759755011.jpg)
L'application en action (non coupée) :
page externehttps://www.youtube.com/watch?v=CfzMUuzAxko
Responsable du projet :
Dr. Urs Br?ndle,