Système SLAM embarqué guidé par sémantique pour les environnements dynamiques

La localisation et cartographie simultanées, connue en anglais sous le nom de SLAM, est considérée pour être une approche fondamentale pour la navigation et la compréhension de l'environnement pour les robots et les systèmes autonomes. Au cours de ces dernières années, de nombreux systèmes SLAM ont été développés et ont atteints une performance mature sous certaines circonstances. L'algorithme SLAM classique suppose que la scène est statique, ce qui est rarement le cas. La présence d'éléments dynamiques, comme des piétons, apporte des observations anormales au système pouvant diminuer la précision de la localisation, voire faire échouer complètement le système. Dans les SLAM basés vision, plusieurs problématiques restent non résolues. Par exemple : Comment gérer les objets dynamiques de la scène? Comment faire comprendre au système son environnement ambiant pour accomplir des tâches avancées comme la détection d'obstacle, ou l'interaction avec des objets de la scène ? Pour répondre à ces questions, la sémantique apporte une information riche car elle permet de segmenter la scène capturée en parties pertinentes ou non pour la navigation. La combinaison de l'information sémantique avec le SLAM pourrait améliorer la localisation et la génération de la carte. Les réseaux de neurones profonds sont très efficaces pour la tâche de segmentation sémantique en associant à chaque pixel d'une image un label. Le but de cette thèse est de définir un SLAM sémantique léger à faible consommation d'énergie. L'algorithme devra gérer les objets dynamiques et atteindre une performance en temps-réel sur du matériel à ressources restreints, comme la NVIDIA Jetson AGX Xavier/TX2. L'intégration du réseau pour la segmentation sémantique dans le SLAM ajoute plus de complexité calculatoire et d'utilisation mémoire. Plusieurs problématiques seront donc adressées : Quel est le compromis entre utilisation des ressources et précision de la localisation ? Quelle est la précision sémantique requise pour le SLAM ? Comment intégrer efficacement le calcul de la sémantique avec le SLAM tout en minimisant le nombre d'opérations, la consommation d'énergie et la latence introduit par les transmissions de données redondantes ? La chaîne de traitement SLAM établi au laboratoire sera le point de départ pour cette thèse.