Voir différemment

Voir différemment pour la substitution sensorielle de la vision à l’audition

Voir différemment a été développé par le groupe de recherche en neurosciences computationnelles et traitement intelligent des signaux (NECOTIS) de l’université de Sherbrooke. Ce groupe conduit des activités de recherche dans le domaine des systèmes intelligents, de la communication machine, des apprentissages machine et des neurosciences computationnelles. Les applications sont développées autour de systèmes bio-inspirés et de réseaux de neurones pour le traitement de l’information et des signaux. Voir différemment est une de ces applications.

Plasticité et substitution sensorielle (Prof. Bach y Rita)

Le cerveau est très plastique et le travail du professeur Bach y Rita a montré qu’il est possible de substituer un sens par un autre. Cet excellent vidéo résume cet aspect du travail du professeur Bach y Rita.

Un système de substitution de la vision à l’audition

Voir différemment est une implémentation et une simplification d’un système de substitution sensorielle qui transforme une scène visuelle en une scène sonore à 2 dimensions. La transformation est réalisée après analyse en temps réel des images provenant de la caméra vidéo de l’appareil. Les sons sont générés de façon à ce que la localisation des objets d’intérêt dans la scène visuelle soit perçue à l’aide d’une source sonore virtuelle équivalente en utilisant les différences de niveaux sonores et les différences de phases entre les deux oreilles. De plus, les caractéristiques spectrales des distorsions introduites par la tête et la forme des pavillons des oreilles sont prises en considération à l’aide d’une fonction de transfert de la tête («Head Related Transfer functions» – HRTF).

Voir différemment réalise dans un premier temps l’analyse de scène visuelle et réagit aux zones d’intérêt qui se situent dans la scène visuelle. Il n’est pas nécessaire de transformer l’image au complet en plusieurs sons. Seulement les zones d’intérêt sont codées par des sons. Comme preuve de concept, une version légère de Voir Différemment a été implémentée pour utilisation sur iPhones/iPod touch/iPad et est disponible gratuitement sur le App Store.

Caractéristiques de la version légère de Voir Différemment

Dans la version actuelle,  voir différemment réagit aux zones de l’image vidéo qui provoquent l’activité la plus forte d’un réseau de neurones. Plus la densité de textures et de gradient est élevée dans une région de l’image et plus le réseau de neurones est actif dans la région correspondante. Une version plus élaborée est en développement. Cette version reconnait des objets spécifiques de la scène visuelle et fonctionne pour l’instant sur un ordinateur. Elle utilise le principe de l’appariement temporel présent dans le cerveau.

Comment utiliser la version légère de Voir Différemment?

Comme jeu, voir différemment peut être utilisé pour trouver des objets de base ou des amis en utilisant le son et en ayant les yeux fermés (à la façon d’un jeu de Colin-maillard).

Comme outil de création, voir différemment peut être utilisé pour composer des mélodies simples.

Voir Différemment peut aussi être un bon tuteur pour entrainer une personne à faire de la localisation spatiale de sons.

Voir Différemment permet de créer un environnement sonore relaxant et nous utilisons des sons naturels.

Il faut connecter un casque d’écoute à la prise audio de l’appareil mobile pour percevoir l’effet 2D  sonore.

Recommandation

Fermer les yeux et ne pas regarder l’écran (une fois la familiarisation faite) pour mieux percevoir l’effet 2D sonore.  Il faut commencer lentement avec une scène simple. La familiarisation prend à peu près 15 minutes pour effectuer des déplacements simples en se guidant avec le son. Pour des déplacements complexes, il faut songer à plusieurs heures d’entrainement. Après familiarisation, on peut compliquer la scène visuelle.

Pour certaines personnes il peut être difficile de percevoir l’élévation des sons. En effet, cette perception dépend en partie de la forme du pavillon de l’oreille externe (qui est différente d’une personne à l’autre).  Il sera possible dans une version ultérieure d’adapter voir différemment à la perception de chaque utilisateur. Pour l’instant, la forme d’une oreille externe de mannequin a été utilisée.

Vidéo de voir différemment utilisé comme simple interface musicale. Déplacer la souris sur l’illustration du iPod pour démarrer la vidéo ci-dessous.

Téléchargement

PastedGraphic2