Un manuel prend vie : Réalité augmentée pour les dentistes
Les développeurs de jeux du Game Technology Center de l'ETH ont programmé une application qui permet aux dentistes d'apprendre de manière ludique les processus de remodelage osseux. La caméra de leur téléphone portable dirigée vers le manuel, les personnes en formation se retrouvent à la surface de l'os, où elles aident les cellules à se décomposer.
Les manuels scolaires sont utiles et contiennent de nombreuses connaissances précieuses. Toutefois, en raison de la densité des informations qu'ils contiennent, ils sont souvent difficiles d'accès et ont un effet dissuasif. Avez-vous déjà imaginé que votre manuel vous entra?nerait dans une interaction où vous apprendriez son contenu de manière ludique ? C'est exactement comme cela que fonctionne l'application "AR Osteoclasts", programmée par le développeur de jeux Jascha Grübel du Game Technology Center de l'ETH en collaboration avec Bernd Stadlinger, directeur adjoint de la clinique de chirurgie orale du Centre de médecine dentaire de Zurich et membre de l'ETH AI Center, afin de familiariser les futurs dentistes avec les processus de remodelage osseux.
En pointant la caméra de leur tablette ou de leur smartphone sur une image spécifique du livre "Communication des cellules", les étudiants atterrissent sur la surface de l'os à c?té d'un vaisseau sanguin. Dans ce microcosme agrandi 600 fois, les joueurs contr?lent des processus biologiques et biochimiques qui, sinon, se déroulent automatiquement. Chacun des six chapitres du jeu est introduit par une voix qui explique aux étudiants le contexte de la dégradation des os et le r?le qu'ils jouent en tant que joueurs (voir la vidéo).
Sans que nous nous en rendions compte, 10 % de notre squelette est remodelé chaque année. Les cellules dites ostéoclastes sont responsables de la dégradation de l'os et les ostéoblastes de la production de nouveau matériau osseux. Cette connaissance est particulièrement importante pour les dentistes, car les ostéoclastes jouent un r?le important dans le remplacement des dents, mais aussi dans l'intégration des implants dentaires dans la structure osseuse naturelle. Ils défendent également les os de la m?choire contre les infections bactériennes et favorisent la guérison des plaies lorsqu'une dent doit être extraite.
"Un jeu doit être amusant et motivant. Pour cela, nous devons simplifier les processus biologiques sans les dénaturer".Fabio Zünd
De la carte mentale au jeu - à l'aide des mathématiques
Grübel, le développeur principal, a lui aussi d? d'abord se familiariser avec le sujet : "J'ai regardé des films éducatifs et j'ai résumé toutes les cellules impliquées, leurs t?ches, leurs actions et leurs interactions dans une carte mentale". Comme les processus dans le corps se déroulent automatiquement, il a d? décider quels éléments de ceux-ci seraient repris par l'homme dans le jeu. "Par exemple, lorsque le joueur tape sur l'écran, l'ostéoclaste envoie des messagers pour attirer les cellules souches, qui se transforment en ostéoblastes pour réparer l'os", explique Grübel. Parfois, les joueurs re?oivent aussi des aides symboliques : Dans le chapitre trois, ils contr?lent deux robinets - l'un pour l'acide et l'autre pour les enzymes - et peuvent dissoudre l'os avec la bonne quantité des deux substances. Grübel programme de tels mécanismes de jeu sur Unity - une plateforme sur laquelle on développe des jeux. "Pour un jeu, le temps doit aussi se déplacer dans l'ordinateur et définir la prochaine étape du déroulement du jeu", explique Grübel. "Unity fournit déjà cet arrière-plan, ainsi que, par exemple, les lois physiques qui doivent s'appliquer dans le jeu", car en fin de compte, tous les mécanismes de jeu sont des calculs mathématiques, explique Grübel.
Au triangle du jeu, de la science et de la formation
Trouver l'équilibre entre le jeu, la science et la formation est décrit par Fabio Zünd, directeur du GTC, comme un défi particulier : "Un jeu doit être amusant et motivant. Pour cela, nous devons simplifier les processus biologiques sans les dénaturer", ce qui a exigé un échange intensif entre les concepteurs du jeu, les dentistes, les chercheurs et les collaborateurs de l'édition. "Certains mouvements du jeu rappelaient aux chercheurs des modèles de connaissances dépassés. Nous avons donc d? trouver ensemble comment représenter de manière pertinente la compréhension actuelle", explique Grübel.
Captures d'écran de l'application "AR Osteoclasts".
-
Le jeu éducatif se déroule à la surface de l'os, à c?té d'un vaisseau sanguin. Les joueurs doivent d'abord tirer des cellules souches (boules) vers l'endroit marqué afin de former des cellules ostéoclastes. (Image : Game Technology Center, ETH) -
Les joueurs et joueuses prennent en charge des processus biochimiques et biologiques qui, sinon, se dérouleraient automatiquement.
(Image : Game Technology Center, ETH) -
Lorsque les étudiants ont collecté suffisamment de cellules souches, un ostéoclaste est formé en les encerclant avec le doigt (en bas). (Image : Game Technology Center, ETH) -
Les ostéoclastes dissolvent la matière osseuse à l'aide d'un acide (coq vert) et d'enzymes (coq bleu). (Image : Game Technology Center, ETH) -
Dans le jeu, les étudiants assument cette fonction et traitent l'os en respectant les proportions des deux substances. Pour cela, l'affichage en forme d'arc-en-ciel leur sert d'aide. (Image : Game Technology Center, ETH) -
En tapotant l'écran, l'ostéoclaste envoie des messagers (en rose) pour attirer les cellules souches qui se transforment en ostéoblastes et reconstruisent l'os.
(Image : Game Technology Center, ETH)
Un autre défi consistait à s'assurer que l'application fonctionne sur le plus grand nombre d'appareils possible : "Au GTC, nous nous consacrons normalement à des prototypes de recherche - c'est-à-dire qu'ils ne fonctionnent que sur un seul appareil, mais peuvent faire des choses folles", explique Zünd. En revanche, pour AR Osteoclasts, il s'agit d'un produit dans les appstores qui doit atteindre le plus grand nombre de personnes possible. C'est pourquoi les développeurs ont d? limiter la technique utilisée dans AR Osteoclasts afin que l'application fonctionne également sur des appareils plus anciens. L'artiste numérique Violaine Fayolle a calculé le modèle 3D détaillé de l'os sur lequel se trouve le joueur de manière à ce que les appareils ne chauffent pas lors de la représentation du jeu. Le modèle 3D provient du producteur de films médicaux "interActive Systems", qui a participé au développement de l'application aux c?tés de l'éditeur.
Jouer ou plut?t lire ?
Une étude d'accompagnement est en cours pour déterminer dans quelle mesure les étudiants sont plus motivés ou même apprennent mieux gr?ce à l'application. Les deux informaticiens voient toutefois dans les jeux un grand potentiel pédagogique. "On peut transmettre beaucoup de choses avec les jeux, mais il est difficile de savoir ce que l'on transmet. Nous avons besoin de plus de résultats issus des sciences de l'apprentissage", explique Grübel. En ce qui concerne l'équilibre entre le jeu et la transmission de connaissances, l'application n'est certes pas aussi ludique que Grübel l'aurait souhaité, mais il est satisfait du résultat compte tenu de la courte durée de développement. "Transformer le contenu d'un livre de manière interactive est une nouveauté", estime-t-il. Le développeur peut tout de même laisser libre cours à son envie de jouer : Avec Bernd Stadlinger, qui a co-édité le livre "Kommunikation der Zellen", le projet entre dans une deuxième phase. "Nous souhaitons transposer le jeu en réalité virtuelle, où nous aurons davantage de possibilités d'interaction et où nous pourrons explorer la manière dont l'homme interagit avec l'ordinateur", explique Zünd.