LiDAR and camera systems are frequently used together to gain a more complete understanding of the environment in different fields, such as mobile robotics, autonomous driving, or intelligent surveillance. Accurately calibrating the extrinsic parameters is crucial for the accurate fusion of the data captured by both systems, which is equivalent to finding the transformation between the reference systems of both sensors. Traditional calibration methods for LiDAR and camera systems are developed for pinhole cameras and are not directly applicable to fisheye cameras. This work proposes a target-based calibration method for LiDAR and fisheye camera systems that avoids the need to transform images to a pinhole camera model, reducing the computation time. Instead, the method uses the spherical projection of the image, obtained with the intrinsic calibration parameters and the corresponding point cloud for LiDAR–fisheye calibration. Thus, unlike a pinhole-camera-based system, a wider field of view is provided, adding more information, which will lead to a better understanding of the environment itself, as well as enabling using fewer image sensors to cover a wider area.

Resumen El uso de sistemas de percepción que combinan sensores LiDAR y cámaras se está haciendo cada vez más frecuente, pues la fusión de sus datos proporciona una ayuda para la percepción del entorno. Además, las tareas de detección de objetos o la segmentación semántica del entorno precisan, frecuentemente, la combinación de sensores de diferente naturaleza con el objetivo de mejorar sus resultados. La calibración de estos sistemas es un paso fundamental para la correcta fusión de los datos. En este artículo se propone un método de calibración basado en un patrón para este tipo de sistemas, formados por una cámara fisheye y un LiDAR. El método evita transformar las imágenes a un modelo pin-hole, realizando una calibración a partir de la proyección esférica de la imagen, obtenida mediante los parámetros de calibración y la nube de puntos correspondiente.