Modèles neuronaux augmentés avec des connaissances expertes : Application dans le domaine de la santé

Cette thèse se situe au croisement de deux domaines de recherche, le Traitement Automatique des Langues (TAL) d'une part, et l'Apprentissage Automatique (AP) d'autre part. Le sujet propose d'intégrer des connaissances expertes disponibles pour améliorer la performance des modèles de réseaux de neurones profonds et les rendre plus explicables. L'objectif de cette thèse consiste plus précisément à explorer de nouvelles approches pour l'intégration de connaissances expertes dans des modèles neuronaux profonds en vue d'améliorer leur performance pour les domaines peu dotés en données d'apprentissage. L'idée sous-jacente est que l'ajout de connaissances expertes fiables (car ces connaissances sont généralement construites par des experts), même si elles sont de taille modeste, peut améliorer la prédiction des modèles neuronaux profonds actuels et les rendre plus explicables. Pour atteindre cet objectif, quatre verrous scientifiques seront adressés lors de cette thèse : 1. Définir un mécanisme de représentation des connaissances expertes de natures variées pour une intégration optimale dans le modèle neuronal. En effet, lorsque les connaissances expertes sont homogènes (de même nature ou de même représentation), diverses stratégies d'intégration peuvent être utilisées. Le problème s'avère plus difficile face à des connaissances expertes hétérogènes. 2. Combiner les données d'apprentissage d'une tâche donnée avec celles d'une autre tâche pour améliorer la prédiction du modèle neuronal sachant que ces données d'apprentissage sont de nature variées. Cette thèse propose d'aborder cette problématique pour plusieurs tâches du TAL (reconnaissance d'entités nommées, désambiguïsation d'entités nommées, extraction de relations, extraction d'évènements, etc.) et sur des domaines pour lesquels nous avons suffisamment de ressources comme les bases de connaissances et les lexiques spécialisés. Par exemple, les domaines du médical et du biomédical présentent de nombreux avantages notamment la disponibilité d'experts ayant produit une quantité non négligeable de ressources externes structurées et fiables, dont des bases de données terminologiques, thésaurus, graphes de connaissances et ontologies. 3. Permettre aux vecteurs d'entrée des modèles neuronaux profonds de combiner à la fois des représentations distribuées et des représentations symboliques ou sous forme de graphes pour les connaissances expertes externes. Cette combinaison contribuera à l'amélioration de l'explicabilité de ces modèles hybrides. 4. Permettre une meilleure intégration des connaissances expertes externes dans les plongements lexicaux contextualisés pré-entrainés. Nous proposons d'aborder cette thèse selon les axes suivants, dans le prolongement des travaux déjà réalisés au laboratoire LASTI: - Etude bibliographique sur les différentes approches d'intégration de connaissances externes dans des modèles neuronaux profonds. - Identification des types des connaissances externes à intégrer : Ontologies, Bases de données terminologiques, Thésaurus, Lexiques, etc. - Développement d'une méthode permettant de représenter les connaissances externes dans un formalisme exploitable par les modèles neuronaux profonds. - Exploration de nouvelles stratégies pour l'intégration des connaissances expertes dans les réseaux de neurones profonds. L'objectif étant de proposer un mécanisme d'intégration qui s'adapte à chaque type de connaissance externe. - Evaluation des modèles neuronaux augmentés sur différentes tâches et applications du TAL telles que la reconnaissance d'entités nommées, la désambiguïsation d'entités nommées, l'extraction de relations, l'extraction d'évènements ainsi que les systèmes de Question/Réponse, etc.