La réalité virtuelle au quotidien fonctionne au doigt et à l'?il

Les technologies de réalité virtuelle pénètrent dans un nombre croissant de domaines. De la formation des pilotes dans un simulateur de vol aux jeux vidéo de plus en plus réalistes, en passant par les études spatiales en architecture, par exemple : La simulation d'environnements, couplée à des technologies telles que les lunettes VR, offre des possibilités quasiment illimitées. Cependant, les systèmes VR ne sont pas encore très utilisés dans la vie quotidienne. "Aujourd'hui, la VR sert surtout à consommer des contenus. C'est justement dans les activités productives, comme les travaux de bureau classiques, que les technologies ne se sont pas encore établies", estime Christian Holz, professeur à l'Institut des systèmes interactifs intelligents de l'ETH Zurich. Pourtant, il y aurait là aussi un grand potentiel : les contenus ne sont plus liés à un écran, les utilisateurs peuvent agir en trois dimensions, de manière très flexible et intuitive avec leurs mains.

Chaque doigt vibre différemment

Qu'est-ce qui freine cette évolution ? Christian Holz voit le problème central dans l'interaction entre l'homme et la technologie. Ainsi, la plupart des applications VR sont aujourd'hui utilisées soit avec des contr?leurs que l'on porte à la main, soit avec les mains en l'air dont la position est enregistrée par une caméra. La plupart du temps, les utilisateurs se tiennent en outre debout lors de la commande. "Si l'on doit toujours tenir les bras en l'air, cela devient vite fatigant", estime Holz, "un processus de travail normal, c'est-à-dire l'interaction avec le système pendant plusieurs heures, n'est pas envisageable de cette manière". Un autre problème se pose par exemple lors de la saisie sur un clavier virtuel. Les doigts ne bougent alors que très peu, et les caméras ne peuvent pas saisir le mouvement en profondeur avec autant de précision qu'un clavier mécanique. De plus, le retour haptique habituel fait défaut lors de la saisie en l'air.

Pour l'équipe de chercheurs dirigée par Christian Holz, il est donc clair que pour une utilisation productive judicieuse de la VR, les surfaces passives restent importantes. Il peut s'agir du plateau de table classique, mais aussi d'un mur ou de son propre corps. Afin de les utiliser de manière optimale, ils ont développé un principe sensoriel appelé "TapID", qu'ils présenteront à la conférence page externeIEEE VR fin mars. Le principe repose sur plusieurs capteurs d'accélération au poignet, intégrés dans un bracelet en caoutchouc normal. Ceux-ci enregistrent lorsque la main touche une surface et quel doigt est utilisé. Les chercheurs ont découvert que leur nouvelle conception de capteurs permettait de résoudre les minuscules différences de profil de vibration au niveau du poignet, que chaque doigt déclenche de manière caractéristique et différente lors d'un mouvement. Un pipeline de machine learning spécialement développé à cet effet traite les données mesurées en temps réel. En combinaison avec le système de caméra d'un casque VR qui saisit la position des mains, une saisie extrêmement précise est ainsi possible. Les chercheurs en font la démonstration dans quelques applications qu'ils ont programmées pour leur développement, comme un clavier et un piano virtuels (voir vidéo).

Jeu de piano virtuel avec la smartwatch

Le piano virtuel se prête particulièrement bien à la démonstration des avantages de TapID, selon Holz : "Ici, la précision spatiale n'est pas seule à être essentielle, le timing l'est aussi. Le moment où l'on touche une touche doit être enregistré le plus précisément possible. La technologie relativement simple sur laquelle repose le système offre de nombreux avantages. Ainsi, un tel bracelet ne devrait co?ter que quelques francs à la fabrication. L'équipe de recherche a en outre testé son système avec des technologies existantes : Lors d'une évaluation technique avec 18 participants, ils ont pu montrer que le principe fonctionne de manière fiable non seulement avec les composants électroniques du bracelet, mais aussi avec les bracelets de fitness et les smartwatches de fournisseurs établis, qui sont équipés de capteurs inertiels. En se tournant vers l'avenir, les chercheurs souhaitent travailler à affiner le principe avec encore plus de sujets et à développer d'autres applications.

Un autre point que Christian Holz voit est ce qu'on appelle la réalité virtuelle mobile : "Nos capteurs sont si portables que nous pourrions à l'avenir utiliser la VR en déplacement. Avec TapID, on peut commander des applications sur sa propre main ou sur ses cuisses - partout et à tout moment". Le professeur d'informatique Holz voit l'avenir de la réalité virtuelle dans la possibilité de collaborer indépendamment de la position physique - non pas limitée par le matériel, mais comme si l'on était dans la même pièce. "TapID pourrait être une étape importante dans cette direction", conclut Christian Holz, qui va poursuivre ses recherches avec son équipe composée de Manuel Meier, Paul Streli et Andreas Fender.