Tactile and Gestural Interactions

  Le Metavers étant devenu très récemment l'un des sujets technologiques et socio-économiques les plus à la mode. Combinant différentes technologies comme la réalité virtuelle et augmentée et l'animation 3D pour la création de services pour ce nouveau monde numérique. Les besoins de reconnaissance fiable et précise pour des applications IHM, telles que l'interaction avec un monde de réalité virtuelle ou augmentée, ont particulièrement attiré l'attention de la communauté de Vision et d’IA.
  L’objectif du projet est de poursuivre le travail réalisé lors du stage de Mathieu Ferdinand, financé par l’AAP IRCICA 2022. Le but est de créer à l’aide des techniques d’IA un ensemble d’outils permettant de concevoir des applications de réalité mixte permettant d’augmenter l’interaction de l’utilisateur dans un environnement immersif. Dans ce cadre, nous nous intéressons à trois aspects: l’infrastructure de communication entre les terminaux (casques) et les serveurs de calculs qui s’en charge de l’exécution des algorithmes, l’interaction entre l’homme et le monde virtuel et la compréhension du monde réel. Un module de détection et d’analyse de gestes de la main dans l’environnement virtuelle permet d’augmenter l’interaction de l’utilisateur. Enfin, grâce à une analyse d’images il sera possible de comprendre le monde qui entoure un utilisateur même dans un contexte de réalité mixte mêlant réalité virtuelle et monde réel.
  Les outils développés dans le cadre de ce projet pourront être déployés dans la plateforme PIRVI dans le cadre de workpackage 2 du CPER CORNELIA.

  La salle de visualisation immersive REVICA de l’IRCICA a été doté, d’un dispositif de visualisation
expérimental qui permet aux utilisateurs d’avoir accès à un grand écran tactile très peu couteux par rapport aux écrans disponibles sur le marché. Ainsi, l’enjeu est de concevoir des techniques d’interaction permettant d’augmenter le potentiel d’usage de ce dispositif, et de favoriser son appropriation par des partenaires extérieurs susceptibles de tirer parti de cet environnement de travail.
  Les premiers travaux logiciels ont permis de mettre en place une base de codage permettant d’illustrer lepotentiel d’affichage. En particulier, deux niveaux de visualisations d’information sont fournies : (1) un niveau basse résolution qui permet d’afficher des informations de façon globale, intéressant quand les utilisateurs sont loins de l’écran et (2) un niveau haute résolution qui permet d’afficher des informations de façon plus précise, intéressant quand les utilisateurs sont proches de l’écran.
  Dans ce cadre, nous souhaitons via ce projet concevoir et évaluer une technique de pointage basée sur l’interaction proxémique, permettant de pointer et de sélectionner les données sur cet écran de façon fluide et unifiée et qui tirent parti de ces deux modes de visualisations. Ensuite dans un deuxième temps, nous souhaitons étendre cette technique pour la collaboration pour permettre à plusieurs utilisateurs d’interagir avec l’écran en même temps.

Les instruments de musique augmentés, ou hyper-instruments, permettent d’étendre les possibilités d’expression des musiciens, en intégrant des capteurs utilisés pour modifier le son de l’instrument. Notamment, les actuated instruments utilisent des actionneurs permettant d’injecter des signaux synthétiques dans le mécanisme acoustique : mettre en vibration les cordes, frapper les peaux... Ils conservent la richesse sonore de l’instrument et créent un contrôle gestuel très fin. Cependant, la méthode d’excitation utilisée peut limiter la palette sonore disponible. Dans le cas de la guitare acoustique, les technologies actuelles d’excitation des cordes ne permettent pas de produire des attaques aussi précises que celles du musicien expert : l’attaque est pourtant l’un des principaux moyens de varier le timbre et l’expressivité. Un autre point bloquant est le type de capteurs utilisés pour contrôler le traitement numérique, pouvant limiter l’espace d’interaction (par ex. uniquement aux emplacements libres sur l’instrument) ou le type de gestes possibles (par ex. accéléromètres ne permettant que des gestes continus à vitesse non constante). L’objectif de ce projet est d’enrichir l’expression musicale avec les guitares acoustiques en combinant un dispositif d’excitation des cordes permettant d’accéder à une nouvelle palette de sons avec un dispositif de réalité augmentée spatiale permettant de placer librement des contrôles complexes dans l’espace physique du musicien.

La salle de réalité virtuelle REVICA de l’IRCICA dispose depuis peu d’un système d’affichage capable d’afficher une image sur une partie de l’ecran avec une densité de pixel bien supérieure au reste de l’ecran. Ce système d’affichage est programmable, ouvrant ainsi à la possibilité de positionner dynamiquement l’image à des endroits que l’utilisateur peut potentiellement choisir, notamment pour visualiser l’information de plus pres que pour le reste de l’image. L’objet de ce projet est de mettre en place d’une part une base logicielle permettant d’afficher du contenu image 2D ou 3D, ou texte, de manière simple, et d’autre part de commencer l’exploration de l’espace de design d’interaction que cet environnement propose.

La modélisation du mouvement humain est un problème à l’intersection des différents domaines, comme la vision par ordinateur, l’apprentissage automatique, l'infographie et la réalité virtuelle et augmentée. Les besoins de reconnaissance fiable et précise pour des applications IHM, telles que l'interaction avec un monde de réalité virtuelle ou augmentée, ont particulièrement attiré l'attention de la communauté Computer Vision. Les gestes de la main sont le moyen de communication non verbal le plus naturel et le plus intuitif lorsqu’il est question d’interaction avec un ordinateur ou autre dispositif numérique. L’objectif du projet est de développer un système de reconnaissance de gestes de la main du point de vue égocentrique adapté à un environnement virtuel (casque de réalité virtuelle) et d’étendre cette reconnaissance vers un panel de gestes utiles pour des applications IHM et dans ce cas à un environnement de réalité augmentée. Dans un deuxième temps, un système d'assistance basé sur la reconnaissance des gestes de la main peut en bénéficier. Nous utilisons dans ce système les techniques de réalité virtuelle pour assister l'utilisateur de manière intuitive et discrète lors d'activités. À cette fin, ce système observe les mains de l'utilisateur et génère des commentaires contextuels basés sur la reconnaissance de ses gestes. Des scénarios très propices peuvent être envisagés pour des applications dans l’aéronautique, l’automobile, la défense, la médecine, le design.

To be filled soon

To be filled soon

To be filled soon

To be filled soon