INSOUND : une expérience d'écoute alternative, activée par la spatialisation des sensations sonores et vibratoires, et les effets de second ordre de la conduction osseuse.

Résumé de la thèse

Plutôt que de considérer nos capacités sensorielles comme indépendantes, uniquement utilisées pour une tâche donnée, cette proposition recherche repose sur l'hypothèse que grâce à la plasticité du cerveau, plutôt que de fournir des informations contradictoires, les stimulis sonores et vibrotactiles peuvent être complémentaires grâce aux mécanismes de neuroplasticité. Cette intégration de la stimulation tactile et de l'écoute interne pourrait permettre au plus grand nombre de vivre une expérience complète et augmentée de ces deux sens liés.

Ce projet de thèse interdisciplinaire propose une collaboration entre les mondes de l'haptique et de l'acoustique, tout en considérant leur impact et leurs perspectives d'applications pour les personnes sourdes, malentendantes et aveugles, ainsi que d'autres populations selon leur implication dans le projet. Ce projet propose de s'articuler autour d'une approche multimodale basée sur trois axes de développement par la recherche :

• L'étude fondamentale de la conduction corporelle du son, ainsi de l'influence de la distribution spatiale sur le corps de signaux vibrants, sonores et haptiques, perçus par la conduction osseuse et le sens tactilo-kinesthésique,
• L'analyse de la répercussion des effets haptiques de second ordre et leurs interactions avec la perception du son par la conduction osseuse,
• L'intégration active de l'écoute par conduction osseuse, renforcée par la stimulation vibrotactile pour l'amplification de certaines caractéristiques sonores et sensorielles.

Les résultats finaux attendus sont de l'ordre d'une cartographie de la sensibilité vibrotactile relative du corps et une compréhension des limites d'efficacité de la conduction osseuse du son. Cette cartographie serait pertinente pour des systèmes d'écoute alternatifs, des situations de forte demande d'attention, des vestes/systèmes portatifs pour la réalité virtuelle, ainsi que d'autres cas d'usage à définir.

Ce projet propose alors le développement d'un dispositif multimodal d'écoute, porté sur le corps, qui exploite les principes de la plasticité cérébrale et de l'augmentation sensorielle. Cet intérêt de recherche s'appuie notamment sur le fait que, à notre connaissance, il n'existe que très peu de littérature s'attachant à l'étude des limites d'efficacité de la conduction osseuse et ligamentaire au sein de zones corporelles autres que le crâne. Ce projet de recherche permettra aussi d'évaluer comment l'interprétation perceptuelle d'un son peut être facilitée par la conduction osseuse et ses effets vibrotactiles associés.

L'objectif est d'établir une cartographie sensorielle du corps à des fins d'applications à visée ludiques et pratiques aux débouchés multiples, aussi bien pour la communauté scientifique que pour le partenaire industriel (Actronika). En effet, par le biais d'expérimentations audio-tactiles, il sera possible d'étendre notre compréhension des mécanismes reliant notre perception intuitive d'un son à sa représentation. Une autre problématique s'attache à l'étude de la possibilité d'une véritable intégration perceptuelle multimodale, liant l'ouïe et le toucher en arguant que cette intégration doit être réalisée au niveau cognitif (Rizza et al., 2018). Ce niveau d'intégration peut expliquer les difficultés à aboutir à une technologie tactile pour la parole telle que décrites par les auteurs. Cependant, ces travaux se basent sur l'utilisation d'un stimulus sonore arbitraire couplé à la stimulation vibrotactile. Dans une approche différente de cette association arbitraire, ce projet de recherche propose l'usage de la conduction osseuse comme vecteur de propagation des effets haptiques associés comme source des stimulis audio-tactiles. On trouve des documents très encourageants pour poursuivre la recherche et l'expérimentation autour de la stimulation audio-kinesthésique : Yau et al., 2009 ; Karam, Russo et Fels, 2009 ; Bolognini et al., 2010 ; Caetano et Jousmaki 2006 ; Nishimura et al., 1999.

Directeur de thèse :
MISDARIIS Nicolas, Laboratoire STMS,  responsable de l'équipe Perception et Design Sonores (PDS),  École doctorale SMAER 391 (Sciences mécaniques, acoustique, électronique et robotique), Université Paris-Sorbonne.
Co-encadrant : 
CAHEN Roland, Laboratoire CRD, membre permanent du Centre de recherche en design, ENSCi - Les Ateliers

Modalité de la thèse et sources de financement : Thèse financée par l'ANRT dans le cadre d'un contrat CIFRE (Convention industrielle de formation par la recherche).
Partenaire industriel : Actronika SAS. +
Dates d'inscription : janvier 2020 – janvier 2023. 
Date de soutenance février / avril 2023.