Etude et optimisation de réseaux de neurones pour l'amélioration de la compréhension de la parole en embarqué temps réel

Dans le monde, environ 466 millions de personnes souffrent d'une perte d'audition. Pour remédier à la perte de sensibilité auditive, des appareils auditifs portables ont été conçus depuis près d'un siècle. Malgré les progrès récents en matière de traitement du signal audio, les personnes souffrant de neuropathie auditive ne bénéficient que peu ou pas du tout des appareils auditifs actuels. Contrairement aux pertes auditives ordinaires, les troubles neuropathiques auditifs altèrent le traitement des informations temporelles sans nécessairement affecter la sensibilité auditive. Cela peut avoir un impact particulièrement fort dans les scénarios où le discours d'intérêt est présent avec un certain bruit de fond ou avec un ou plusieurs locuteurs simultanés. Grâce aux techniques d'apprentissage profond, les algorithmes récents d'amélioration de la parole ont vu leurs performances augmenter de façon spectaculaire. Cependant, la complexité accrue de ces algorithmes a des conséquences négatives sur les performances en temps réel des appareils auditifs, ce qui empêche souvent leur mise en ?uvre. Par exemple, la latence qui peut exister entre les mouvements des lèvres de l'orateur et le son reproduit par l'appareil auditif est une source importante d'inconfort pour l'utilisateur. L'objectif de cette thèse est d'étudier la contribution de nouveaux modèles basés sur l'attention (tels que les "transformers") à l'amélioration de la parole et de proposer une procédure systématique pour réduire la complexité de tels algorithmes et permettre leur intégration dans des appareils portables tout en respectant le critère d'estimation de la qualité défini par des tests d'écoute avec des patients. Vous explorerez des approches telles que "transfer Learning" et "knowledge distillation" afin de réduire la complexité du modèle tout en préservant ses performances. Vous explorerez également des approches imposant la sparsité dans les modèles pour faciliter un élagage efficace et vous effectuerez des expériences préliminaires basées sur la quantification pour réduire la complexité globale du modèle. Ces dernières approches entraîneront une dégradation des performances. Vous analyserez la relation entre la réduction de la complexité et la dégradation de la performance afin de définir des approches de simplification en fonction de l'estimation du signal.