> Offres de formation > Offres de thèses

Réseaux de neurones profonds sur nuage de points 3D adaptés aux architectures embarqués

Défi technologique : Data intelligence dont Intelligence Artificielle (en savoir +)

Département : Département Systèmes et Circuits Intégrés Numériques (LIST)

Laboratoire : Laboratoire Intelligence Artificielle Embarquée

Date de début : 01-10-2022

Localisation : Saclay

Code CEA : SL-DRT-22-0500

Contact : alexandre.chariot@cea.fr

Le sujet de thèse proposé se situe dans le domaine des réseaux de neurones sur données éparses de type nuage de points adaptés aux traitements temps réel sur architectures de calcul embarqués. Durant cette dernière décennie, l'analyse de flux de données issus de divers capteurs a connu une forte expansion suite à l'amélioration significative des réseaux de neurones. La recherche a permis le développement de réseaux plus efficaces, moins gourmands en mémoire et de plus en plus intégrables dans du matériel embarqué. Les différents acteurs du domaine ont proposé ces dernières années leurs propres architectures de calcul pour améliorer la performance et l'efficacité énergétique . Ces architectures sont majoritairement conçues pour effectuer l'inférence de réseaux sur des données de type image, mais ne sont pas adaptées à des structures telles que les données de type nuage de points pourtant largement utilisée dans le domaine de la perception de l'environnement. Plusieurs travaux sont en cours actuellement dans notre laboratoire, autour de l'outil open source N2D2 pour l'optimisation et l'intégration sur matériel embarqué de réseaux de neurones, ainsi qu'autour de l'architecture matérielle embarquée DNeuro . La proposition d'un couple réseau de neurones et nouvelle architecture de calcul embarqué pour l'inférence efficace sur des nuages de points constitue une prochaine étape de nos recherches. Au sein d'une chaîne de calcul embarqué pour la perception, les données de type nuage de points fournissent une information géométrique riche et sont généralement produites par des capteurs de type LIDAR ou RGB-D, mais peuvent être également issues de l'interprétation de flux d'images par une fonction perception (SLAM visuel ). Parmi ces fonctions, l'analyse sémantique se révèle être une fonction clef pour un nombre important d'applications, que cela soit pour aider le SLAM en enlevant les objets mobiles , la reconnaissance de lieux , la reconnaissance d'objets ou la reconstruction 3D de scènes . Un des intérêts majeurs des structures de type nuage de point est qu'elles permettent une telle analyse sémantique de la scène en intégrant directement l'information de géométrie 3D, contrairement à l'approche image standard 2D, avec des architectures de réseaux de neurones spécifiques aux nuages de points . De plus, ce type de représentation permet une réduction de la quantité de données et de la bande passante nécessaire entre le couple capteur / architecture de calcul embarqué (générant l'interprétation sémantique de la scène observée) et le système haut-niveau (prenant les décisions), donc de la latence globale du système. En contrepartie, ce type de données présente de nombreux challenges : sa nature éparse et non-structurée, sa taille non-prédictible, et non-contiguë en mémoire étant très différente d'un flux d'image traditionnel, la structure en nuage de points rend les approches de calcul sur les architectures matérielles actuelles inadaptées et à réinventer. Ces caractéristiques particulières laissent cependant présager des opportunités très intéressantes en termes d'optimisation et d'efficacité énergétique. Les travaux de cette thèse visent ainsi à explorer la classe des réseaux de neurones pour l'analyse sémantique de nuages de points 3D et leur capacité d'exécution en inférence sous contraintes dans une architecture de calcul embarquée. Les problèmes scientifiques qui se posent dans ces travaux concerneront la gestion efficace des données dans un contexte de répartition calculatoire fortement éparse, la compatibilité des algorithmes d'analyse sur données éparses avec l'exécution sur cible embarquée et les performances, la précision atteignable et les possibilités de quantification sous ces contraintes. Une approche de co-conception algorithme et architecture devra ainsi être mise en ?uvre au cours de cette thèse. Les chaînes applicatives mettant en jeu cette fonction clef étant nombreuses et variées (analyse de scène pour le véhicule intelligent, robotique mobile?), nous devrons en choisir une particulière pour préciser les modalités d'obtention des nuages de points manipulés (types de capteurs en entrée et/ou fonctions générant ces structures), les métriques de validation et les travaux de l'état de l'art auxquels se comparer. Nous proposons d'étudier l'apport de l'analyse sémantique sur nuage de points issues d'une chaîne de SLAM consistant à estimer la trajectoire du système en fonction des données des capteurs (caméras, LIDAR, IMU) et à reconstruire conjointement une carte 3D de l'environnement. Un exemple d'une telle chaîne est KIMERA . Une première phase d'étude de l'état de l'art permettra d'identifier les approches algorithmiques les plus adéquates à la problématique embarquée, en passant par une estimation de la complexité algorithmique de ces approches (en termes de nombre d'opérations, de mémoire ?). Une étude des solutions matérielles embarquées existantes sera aussi menée. Dans un deuxième temps, les possibles simplifications algorithmiques pour le contexte embarqué seront explorées, notamment par une évaluation de leurs impacts sur les performances en qualité ainsi que sur les besoins mémoires. Basé sur ces résultats, des solutions matérielles embarquées pour répondre aux problèmes identifiés pourront être proposées et évaluées : approche de répartition calculatoire et solution de gestion des données éparses en mémoire. Les travaux seront valorisés à travers la rédaction de plusieurs publications scientifiques dans des conférences et des journaux internationaux, ainsi que de potentiels brevets. Cette thèse se déroulera dans le laboratoire LIAE du CEA, au sein du département DRT/LIST/DSCIN, et sera dirigée au sein du CAOR (Centre de Robotique) appartenant au département Mathématiques et Systèmes de MINES ParisTech. Le CEA est un acteur majeur en matière de recherche, de développement et d'innovation. Cet organisme de recherche technologique intervient dans trois grands domaines : l'énergie, les technologies pour l'information et la santé, et la défense. Reconnu comme un expert dans ses domaines de compétences, le CEA est pleinement inséré dans l'espace européen de la recherche et exerce une présence croissante au niveau international. Au sein de CEA Tech, le pôle « Recherche Technologique » du CEA, l'Institut LIST dédie ses activités aux systèmes numériques intelligents avec des programmes de R&D dans le manufacturing avancé, les systèmes embarqués, et l'intelligence ambiante. Nous accompagnons nos partenaires dans les domaines des transports, de l'industrie, de l'énergie, de la santé, de la sécurité et de la défense, pour transférer les technologies issues de l'innovation et améliorer leur compétitivité. Cf. http://www-list.cea.fr/index.php/ Au sein du LIST, le Département des Systèmes et Circuits Intégrés Numériques (DSCIN), a pour mission de créer des technologies sur les systèmes numériques de calcul intégrés ou embarqués. À ce titre, il proposer une offre assurant le lien entre technologie et applications, basée sur les plateformes de Conception et Systèmes embarqués, en particulier sur les domaines de l'Internet des Objets, des véhicules autonomes, de l'Intelligence Artificielle (IA), de la CyberSécurité et du Calcul à Haute Performance (HPC). LIAE : Le laboratoire d'accueil est le Laboratoire d'Intelligence Artificielle Embarquée (LIAE) qui met en ?uvre des solutions embarquées de perception intégrant des architectures de calcul innovantes couplées à des ensembles de capteurs multimodaux (basés vision). Ce laboratoire est basé à Palaiseau (au sud de Paris (91)) et fait partie de l'institut CEA-LIST. Depuis sa fondation en 1989, le Centre de Robotique de MINES ParisTech a focalisé ses recherches sur l'augmentation de l'intelligence des systèmes automatisables et l'interaction entre l'Humain et la Machine. Ses travaux sont centrés d'un côté sur les véhicules autonomes et aides à la conduite, et de l'autre sur la robotique mobile ou/et collaborative notamment pour l'Industrie du Futur, et plus généralement la Collaboration Humains-Robots et l'Intelligence Artificielle (IA) centrée sur l'Humain. La Recherche du Centre consiste ainsi à concevoir et expérimenter des algorithmes dans un ensemble cohérent et complémentaire de disciplines et techniques : perception multi-capteurs, analyse temps-réel d'images, reconnaissance de formes & gestes et apprentissage statistique (machine-learning), planification de trajectoires & automatique, logistique urbaine, Réalité Virtuelle & Augmentée. Nos recherches incluent aussi une composante expérimentale, avec plusieurs plateformes (robots, salle immersive, véhicules?) permettant de valider nos algorithmes avant de les transférer à nos partenaires industriels. Au sein du Centre de Robotique, l'axe « Nuages de Points et Modélisation 3D » (NPM3D) s'intéresse plus particulièrement aux techniques d'acquisition et de traitement de nuages de points 3D pour de nombreuses applications (cartographie 3D, robotique mobile, archéologie?) . Le Centre a notamment publié une des méthodes état-de-l'art en segmentation sémantique de nuages de points 3D, appelée KPConv . Les locaux dans lesquels se déroulera la thèse sont situés sur le centre NanoInnov du CEA, 2 Boulevard Thomas Gobert, 91120 Palaiseau.

Voir toutes nos offres Télécharger l'offre (.zip)

Email Bookmark and Share