Paris-CARLA-3D is a dataset of several dense colored point clouds of outdoor environments built by a mobile LiDAR and camera system. The data are composed of two sets with synthetic data from the open source CARLA simulator (700 million points) and real data acquired in the city of Paris (60 million points), hence the name Paris-CARLA-3D. One of the advantages of this dataset is to have simulated the same LiDAR and camera platform in the open source CARLA simulator as the one used to produce the real data. In addition, manual annotation of the classes using the semantic tags of CARLA was performed on the real data, allowing the testing of transfer methods from the synthetic to the real data. The objective of this dataset is to provide a challenging dataset to evaluate and improve methods on difficult vision tasks for the 3D mapping of outdoor environments: semantic segmentation, instance segmentation, and scene completion. For each task, we describe the evaluation protocol as well as the experiments carried out to establish a baseline.

LiDAR sensors provide rich 3D information about their surroundings and are becoming increasingly important for autonomous vehicles tasks such as localization, semantic segmentation, object detection, and tracking. Simulation accelerates the testing, validation, and deployment of autonomous vehicles while also reducing cost and eliminating the risks of testing in real-world scenarios. We address the problem of high-fidelity LiDAR simulation and present a pipeline that leverages real-world point clouds acquired by mobile mapping systems. Point-based geometry representations, more specifically splats (2D oriented disks with normals), have proven their ability to accurately model the underlying surface in large point clouds, mainly with uniform density. We introduce an adaptive splat generation method that accurately models the underlying 3D geometry to handle real-world point clouds with variable densities, especially for thin structures. Moreover, we introduce a fast LiDAR sensor simulator, working in the splatted model, that leverages the GPU parallel architecture with an acceleration structure while focusing on efficiently handling large point clouds. We test our LiDAR simulation in real-world conditions, showing qualitative and quantitative results compared to basic splatting and meshing techniques, demonstrating the interest of our modeling technique.

Modélisation de scènes urbaines à partir de nuages de points 3D et simulation LiDAR massive pour véhicules autonomes: Le développement de véhicules autonomes a suscité un intérêt accru de la part de la communauté de la recherche et de l'industrie au cours de la dernière décennie. Développer des algorithmes de véhicules autonomes nécessite de moderniser les véhicules avec plusieurs capteurs, ce qui a un coût élevé. De plus, l'exploitation et l'entretien quotidiens des véhicules augmentent encore les coûts et présentent un risque élevé pour les autres véhicules et les personnes se trouvant dans leur environnement. Le développement et les tests peuvent également être réalisés en simulant le véhicule autonome et les différents capteurs dans un environnement virtuel. Cependant, les environnements virtuels créés manuellement ne parviennent pas à se généraliser aux scènes du monde réel, en raison de l'écart de domaine qui découle des modèles trop simplifiés utilisés dans de tels environnements. Dans cette thèse, nous proposons de réduire cet écart de domaine en exploitant des scans du monde réel de scènes urbaines sous la forme de nuages de points 3D acquis à l'aide d'un capteur LiDAR monté sur un système de cartographie mobile. Pour cette raison, nous créons un nouveau jeu de données de nuage de points 3D annoté et proposons une chaîne de traitement de simulation automatique. La chaîne de traitement introduit une nouvelle représentation intermédiaire pour compléter la géométrie de la scène grâce à des architectures 3D profondes, une méthode de modélisation de scène précise basée sur du splatting adaptatif sémantique pour créer l'environnement virtuel et enfin, une méthode de simulation LiDAR en temps réel. Notre chaîne de traitement est rapide, et automatique et peut être utilisée pour augmenter le domaine des scénarios et générer des simulations massives.