Motion capture & Fingertracking : l’évolution du virtuel

 In Actualités

Aussi appelée capture de mouvement, la motion capture est une technique d’animation qui consiste à enregistrer les mouvements d’un humain, d’un animal ou d’un objet à l’aide de capteurs. Elle les reproduit ensuite sur un personnage virtuel ou une animation numérique. Les mouvements captés sont transférés à un ordinateur qui les retranscrit en mouvements virtuels, permettant ainsi de créer des animations réalistes et fluides. Elles peuvent être animées en temps réel ou modifiées avec des effets spéciaux. Cela donne aux personnages des mouvements plus naturels. Développé il y a plusieurs décennies, ce procédé est, notamment, beaucoup utilisé dans l’industrie du cinéma et des jeux vidéo.

Le fingertracking est une évolution plus récente de la motion capture. Il s’agit d’une technique de suivi des mouvements, et plus spécifiquement des doigts et des mains. En saisissant les mouvements des doigts en temps réel, à l’aide de capteurs de mouvements ou de caméras, on peut les retranscrire sur un écran ou dans un environnement virtuel.

Comme la motion capture, le fingertracking est très utilisé dans le milieu des jeux vidéo pour améliorer le contrôle des personnages jouables. Toutefois, il peut également être utilisé dans des domaines tels que la médecine et la recherche scientifique (pour suivre les mouvements des mains des chirurgiens ou des chercheurs). Cela ouvre également le champ des possibilités dans le domaine de la formation, de la surveillance et de l’analyse des gestes et des mouvements.

Pour résumé, le fingertracking se concentre sur la précision de la gestuelle des mains et doigts tandis que la motion capture a une utilisation plus générale (et par conséquent moins précise dans la reproduction des mouvements).

Zoom sur les innovations

Il existe ainsi un large éventail de possibilités avec ces techniques dans le développement d’applications toujours plus innovantes. Arrêtons-nous sur quelques-unes des avancées majeures qu’elles ont connues ces dernières années, en commençant par la motion capture :

  1. La capture de mouvements faciaux en temps réel : Des systèmes ont été développés pour capturer les mouvements faciaux en temps réel. Cela permet aux utilisateurs de contrôler les expressions faciales de leurs personnages numériques. L’avantage est qu’il n’y a plus besoin de passer par des outils souvent plus complexes à utiliser pour obtenir un résultat similaire.
  2. La capture de mouvements sans marqueurs : Des techniques ont été conçues pour capturer les mouvements sans la nécessité de marquer le corps ou les membres avec des capteurs. On obtient une capture de mouvements plus rapide, plus pratique et plus accessible.
  3. L’utilisation de la réalité virtuelle pour la capture de mouvements : La réalité virtuelle peut être utilisée pour capturer les mouvements en temps réel, offrant une capture de mouvements plus immersive et précise. Il n’y a plus besoin de gants, le casque peut détecter les mouvements de l’utilisateur et les reproduire virtuellement.
  4. L’intégration de la capture de mouvements avec l’apprentissage automatique : L’apprentissage automatique consiste à donner aux machines la capacité d’apprendre grâce à des données et d’évoluer. L’utilisation d’algorithmes d’apprentissage automatique permet donc de capturer des mouvements plus efficacement en utilisant des données existantes pour améliorer le processus de capture.
  5. L’utilisation de la motion capture en temps réel pour la création de contenu en direct : On peut l’utiliser pour la création de contenu en direct pour des événements tels que des concerts et des performances théâtrales. Ainsi, on a une interaction en direct entre les artistes et leur environnement numérique. Les éléments numériques réagissent aux éléments de la réalité.

Quand le fingertracking évolue

Ces progrès ont également profité au fingertracking. On pense notamment à la disparition progressive des marqueurs corporels, tels que des gants ou des capteurs, et à la réalité virtuelle. En effet, la technologie intégrée dans le casque permet de capter les mouvements des mains en temps réel et de les reproduire. Le procédé amplifie l’immersion de l’utilisateur. L’apprentissage automatique n’est pas en reste non plus. Le développement d’algorithmes toujours plus complexes rend possible la mémorisation des mouvements précédemment capturés. Les interactions de l’utilisateur sont ainsi plus qualitatives et précises. Cette évolution du fingertracking, avec une reconnaissance de mouvements plus poussée, a pour principal objectif de rendre les interfaces utilisateur plus intuitives.

Sa fiabilité et sa précision justifie son utilisation dans des secteurs tels que l’industrie ou la santé. Ces domaines l’emploient aujourd’hui afin d’aider à la rééducation des mains et des doigts. Elle contribue aussi à aider les médecins à donner des diagnostics plus justes, de proposer aux patients des exercices personnalisés pour les accompagner au mieux dans leur convalescence.

Le Fingertracking chez Audace

Audace a su voir le potentiel de ces technologies, et notamment du fingertracking. Ces dernières années, deux simulateurs ont été développés et livrés à nos clients œuvrant dans le domaine de l’industrie, qui tirent pleinement profit du potentiel du fingertracking :

Tout d’abord, le simulateur de fabrication de pneus pour Bridgestone. Il s’agit d’un simulateur en réalité virtuelle, utilisant un casque de réalité virtuelle, mais également une paire de gants haptiques. Cela permet une reproduction fidèle de chaque mouvement des mains et des doigts, au sein d’une scène virtuelle. Dans celle-ci, l’utilisateur apprend comment utiliser une machine-outil complète et peut ensuite reproduire l’ensemble des mouvements de façon animée. Il apprend pas à pas à fabriquer un pneu par lui-même en mémorisant la gestuelle en plus de la théorie.

image1

Ensuite, EXXOTEST, un projet de réalité augmentée produit à la demande de Volvo. En s’aidant du fingertracking directement intégré à l’application, l’apprenant est amené à interagir avec le jumeau virtuel d’un moteur de machines industrielles Volvo D8.  En plus de pouvoir se déplacer autour des modèles 3D présents dans l’espace, il est également en mesure de l’observer dans les moindres détails et d’avoir une pleine conscience de son fonctionnement.

EXXOTEST : UN MATÉRIEL DIDACTIQUE EN RÉALITÉ MIXTE

conclusion

Lorsqu’il est intégré à des systèmes d’immersive learning, le fingertracking offre de nombreux avantages.

Tout d’abord, il améliore l’interactivité de l’expérience d’apprentissage. Les apprenants peuvent utiliser leurs mains pour interagir avec des objets virtuels, des environnements et des personnages. L’expérience est ainsi plus immersive et plus engageante.

En outre, le fingertracking facilite l’apprentissage des gestes et des mouvements précis, comme ceux utilisés dans les métiers manuels. Les apprenants peuvent observer et pratiquer des mouvements réels, plutôt que d’essayer de les imiter en regardant une vidéo ou une démonstration.

Le fingertracking est également utile pour les personnes ayant des difficultés à utiliser des dispositifs d’entrée traditionnels tels que claviers, souris ou manettes. Ces personnes peuvent utiliser le fingertracking pour interagir avec des systèmes d’immersive learning. Cela leur permet d’accéder à des expériences d’apprentissage auxquelles elles auraient eu difficilement accès autrement.

Et last but not least, l’utilisation de ses mains pour interagir avec le contenu d’apprentissage permet de mieux mémoriser les informations. Cela est particulièrement vrai pour les étudiants qui ont un style d’apprentissage kinesthésique.

En résumé, le fingertracking apporte une forte valeur ajoutée à l’immersive learning en permettant une interaction plus naturelle, intuitive et plus précise avec l’environnement virtuel.

Recent Posts

Start typing and press Enter to search

Contactez-nousDemandez un devis