Loop Closure (LC) is a crucial task in Simultaneous Localization and Mapping (SLAM) for Autonomous Ground Vehicles (AGV). It is an active research area because it improves global localization efficiency. The consistency of the global map and the accuracy of the AGV’s location in an unknown environment are highly correlated with the efficiency and robustness of Loop Closure Detection (LCD), especially when facing environmental changes or data unavailability. We propose to introduce multimodal complementary data to increase the algorithms’ resilience. Various methods using different data sources have been proposed to achieve precise place recognition. However, integrating a multimodal loop-closure fusion process that combines multiple information sources within a SLAM system has been explored less. Additionally, existing multimodal place recognition techniques are often difficult to integrate into existing frameworks. In this paper, we propose a fusion scheme of multiple place recognition methods based on camera and LiDAR data for a robust multimodal LCD. The presented approach uses Similarity-Guided Particle Filtering (SGPF) to identify and verify candidates for loop closure. Based on the ORB-SLAM2 framework, the proposed method uses two perception sensors (camera and LiDAR) under two data representation models for each. Our experiments on both KITTI and a self-collected dataset show that our approach outperforms the state-of-the-art methods in terms of place recognition metrics or localization accuracy metrics. The proposed Multi-Modal Loop Closure (MMLC) framework enhances the robustness and accuracy of AGV’s localization by fusing multiple sensor modalities, ensuring consistent performance across diverse environments. Its real-time operation and early loop closure detection enable timely trajectory corrections, reducing navigation errors and supporting cost-effective deployment with adaptable sensor configurations.

Vers un système multimodal de fermeture de boucle pour des applications SLAM embarquées et temps réel: Les algorithmes multimodaux de SLAM améliorent sa robustesse et sa précision dans des environnements complexes et dynamiques. Cependant, ces améliorations se font au prix d’une augmentation des exigences en matière de calcul. L’étude systémique du problème SLAM est cruciale pour concevoir une solution pratique, stable et polyvalente, adaptable aux systèmes embarqués et temps réel. Nous avons étudié les différentes étapes de traitement du système afin d’apporter des contributions au niveau de fermeture de boucle multimodale pour des applications SLAM et de son architecture de calcul. Cette étude a commencé par une analyse approfondie de l’impact des différentes modalités de représentation de l’information sur la précision de la fermeture de boucle et son influence sur la réduction de la dérive de trajectoire. Nous avons développé une méthode de fusion à base d’un filtre particulaire guidé par la similarité, qui a été évaluée à l’aide de divers ensembles de données. Les résultats obtenus ont montré une amélioration de la localisation. Nous avons proposé un modèle d’architecture hétérogène (CPU-GPU et CPU-FPGA) pour le calcul d’un descripteur de scène inter-modal. Cette architecture a pu offrir des performances supérieures en termes de temps de traitement.