Français: Ouverture d'un poste d'étudiant au Ph.D
TITRE
Traitement de l'effet "cocktail
party": Analyse en Composantes Indépendantes Cohérentes (cICA) pour la
fusion de signaux visuels et auditifs.
CONTEXTE
Nous recherchons un excellent candidat
motivé par un travail de recherche inderdisciplinaire et collaboratif dans le
domaine du traitement avancé des signaux ainsi que dans celui des systèmes à
traitement de l'information de façon neurale. Le projet est un effort de
recherche conjoint entre McMaster Univ. (Simon Haykin) et l'Université de
Sherbrooke (Jean Rouat) dans le domaine de la séparation de sources sonores
basée sur la modélisation auditive avec fusion de l'information visuelle
(lecture sur les lèvres)
LE PROJET
Au cours de la première année le candidat
travaillera à la modélisation de la démodulation en amplitude dans le système
auditif périphérique et sur la revue de la littérature portant sur le
traitement audio-visuel de la parole ainsi que sur les bases de données
audio-visuelles de parole et mouvements de lèvres. Le candidat analyserea aussi
le travail réalisé par Kevin Kan et Simon Haykin sur l'analyse en composantes
indépendantes cohérentes pour la démodulation AM ainsi que le travail réalisé
par Ramin Pichevar et Jean Rouat sur la séparation monophonique de sources
sonores. Des expériences en psycho-acoustique ainsi qu'en séparation de sources
sonores seront réalisées dans le contexte de la démodulation AM. Par ailleurs,
une étude de la relation entre l'extraction de caractéristiques du signal et le
"binding" via l'utilisation de INFOMAX et des copules (pour IMAX)
sera réalisée. Ensuite, le candidat se consacrera à la fusion de l'information
visuelle obtenue via le mouvement des lèvres avec l'information auditive. À la
fin du projet, un système intégrant l'information visuelle et auditive pour la
séparation de sources sonores sera réalisé et validé sur des situations réelles
de "cocktail party effects".
REFERENCES
[1] Kevin Kan and Simon Haykin, Coherent
ICA: Implications for auditory signal processing, IEEE Workshop on Applications
of Signal Processing to Audio and Acoustics, October 21-24, 2007, New Paltz,
NY.
[2] Kevin Kan, Coherent Independent Component Analysis: Theory and Applications, School of Graduate Studies, McMaster University, Master thesis, July 2007.
[3] Ramin Pichevar and Jean Rouat, Monophonic sound source separation with an unsupervised network of spiking neurones, Neurocomputing, Vol. 71, Issue 1-3, Dec. 2007.
[4] Gemma Calvert, Charles Spence, Barry E Stein, The handbook of multisensory processes, MIT Press, 2004.
English: Opening position
for a Ph.D. student:
TITLE
Cocktail party
processor: Coherent Independent Components Analysis (cICA) for dealing with auditory and visual fusion.
CONTEXT
We are seeking
an excellent candidate motivated by collaborative interdisciplinary research in
advanced signal processing and neural information processing systems. The
project is a joint research effort between McMaster Univ. (Prof. Simon Haykin)
and Université de Sherbrooke (Prof. Jean Rouat) in the area of sound source
separation based on auditory modeling with visual information fusion (lip
reading).
During the first
year, the candidate will work on the modeling of Amplitude Demodulation in the
peripheral auditory system and on the review of the literature on audio-visual
speech and databases. He will also review the work by Kevin Kan and Simon
Haykin on the coherent Independent Component Analysis for use in AM
demodulation and the work by Ramin Pichevar and Jean Rouat on monophonic sound
source separation.
Psycho-acoustical and source separation experiments in the context of AM
demodulation will be conducted along with the study of the relationship between
feature extractions and binding through INFOMAX and copulas (for IMAX). Then
the candidate will focus on the fusion of visual information obtained from lips
movements with the auditory information.
At the end of
the project a system that integrates auditory and visual information for sound
source separation will be realized and validated on real life cocktail party
situations.
REFERENCES
[1] Kevin Kan
and Simon Haykin, Coherent ICA: Implications for auditory signal processing,
IEEE Workshop on Applications of Signal Processing to Audio and Acoustics,
October 21-24, 2007, New Paltz, NY.
[2] Kevin Kan,
Coherent Independent Component Analysis: Theory and Applications, School of
Graduate Studies, McMaster University, Master thesis, July 2007.
[3] Ramin
Pichevar and Jean Rouat, Monophonic sound source separation with an
unsupervised network of spiking neurones, Neurocomputing, Vol. 71, Issue 1-3,
Dec. 2007.
[4] Gemma
Calvert, Charles Spence, Barry E Stein, The handbook of multisensory processes,
MIT Press, 2004.