The lack of high-resolution thermal images is a limiting factor in the fusion with other sensors with a higher resolution. Different families of algorithms have been designed in the field of remote sensors to fuse panchromatic images with multispectral images from satellite platforms, in a process known as pansharpening. Attempts have been made to transfer these pansharpening algorithms to thermal images in the case of satellite sensors. Our work analyses the potential of these algorithms when applied to thermal images from unmanned aerial vehicles (UAVs). We present a comparison, by means of a quantitative procedure, of these pansharpening methods in satellite images when they are applied to fuse high-resolution images with thermal images obtained from UAVs, in order to be able to choose the method that offers the best quantitative results. This analysis, which allows the objective selection of which method to use with this type of images, has not been done until now. This algorithm selection is used here to fuse images from thermal sensors on UAVs with other images from different sensors for the documentation of heritage, but it has applications in many other fields.

Point clouds are very common tools used in the work of documenting historic heritage buildings. These clouds usually comprise millions of unrelated points and are not presented in an efficient data structure, making them complicated to use. Furthermore, point clouds do not contain topological or semantic information on the elements they represent. Added to these difficulties is the fact that a variety of different kinds of sensors and measurement methods are used in study and documentation work: photogrammetry, LIDAR, etc. Each point cloud must be fused and integrated so that decisions can be taken based on the total information supplied by all the sensors used. A system must be devised to represent the discrete set of points in order to organise, structure and fuse the point clouds. In this work we propose the concept of multispectral voxels to fuse the point clouds, thus integrating multisensor information in an efficient data structure, and applied it to the real case of a building element in an archaeological context. The use of multispectral voxels for the fusion of point clouds integrates all the multisensor information in their structure. This allows the use of very powerful algorithms such as automatic learning and machine learning to interpret the elements studied.

Efforts in the domain of building studies involve the use of a diverse array of geomatic sensors, some providing invaluable information in the form of three-dimensional point clouds and associated registered properties. However, managing the vast amounts of data generated by these sensors presents significant challenges. To ensure the effective use of multisensor data in the context of cultural heritage preservation, it is imperative that multisensor data fusion methods be designed in such a way as to facilitate informed decision-making by curators and stakeholders. We propose a novel approach to multisensor data fusion using multispectral voxels, which enable the application of deep learning algorithms as the self-organizing maps to identify and exploit the relationships between the different sensor data. Our results indicate that this approach provides a comprehensive view of the building structure and its potential pathologies, and holds great promise for revolutionizing the study of historical buildings and their potential applications in the field of cultural heritage preservation.

AUMENTO DE RESOLUCIÓN DE IMÁGENES TÉRMICAS PROCEDENTES DE UAVS MEDIANTE ALGORITMOS DE PANSHARPENING

Esta investigación presenta una metodología innovadora para el análisis del patrimonio arquitectónico mediante el concepto novedoso de vóxeles multiespectrales. Este enfoque novedoso revoluciona la manera de integrar, fusionar y analizar datos en forma de nubes de puntos procedentes de diversos sensores geomáticos en la conservación del patrimonio. En su esencia, la investigación presenta los vóxeles multiespectrales como elementos tridimensionales unificados que combinan eficientemente datos de diferentes sensores, incluyendo cámaras de espectro visible, sensores térmicos infrarrojos y escáneres láser, entre otros. Esta estructura basada en vóxeles proporciona un marco coherente para gestionar información espacial y espectral compleja, manteniendo la integridad de los datos de cada sensor. Sobre esta base, este trabajo aplica mapas auto organizados (SOM) para analizar estos vóxeles multiespectrales, permitiendo la detección automatizada y objetiva de patologías arquitectónicas. Estos algoritmos de inteligencia artificial, los SOM, revelan patrones y relaciones en los datos multisensor que serían difíciles de identificar mediante métodos tradicionales. La metodología propuesta ha sido rigurosamente validada en la Iglesia Visigoda de Santa María de Melque en Toledo (España), donde identifica y caracteriza con éxito patologías edificatorias. El estudio demuestra cómo la integración de múltiples conjuntos de datos de nubes de puntos espectrales dentro de la estructura voxelizada, combinada con el análisis SOM, proporciona una visión sin precedentes en la evaluación de edificios. Esta investigación establece un nuevo paradigma en la documentación y análisis del patrimonio, ofreciendo a los profesionales de la conservación un enfoque potente, basado en datos, para comprender y preservar edificios históricos. El éxito de esta metodología abre nuevas posibilidades para la aplicación de técnicas avanzadas de fusión de datos en la conservación del patrimonio arquitectónico.

El análisis de patologías en edificios, especialmente en construcciones patrimoniales, ha avanzado con el uso de sensores geomáticos. La combinación de sensores activos y pasivos, como escáneres láser y cámaras con distintas sensibilidades espectrales, permite obtener modelos 3D detallados, nubes de puntos con datos espectrales y representaciones visuales que destacan áreas problemáticas. Esta fusión de datos facilita la detección temprana y el monitoreo de grietas, deformaciones y corrosión.A pesar de estos avances, persisten desafíos relacionados con la calibración y la integración precisa de los datos, que requiere experiencia en teledetección y análisis estructural. En este estudio, se emplearon sensores como cámaras, drones, cámaras de infrarrojo térmico y escáneres láser en un edificio histórico, generando nubes de puntos que fueron fusionadas en estructuras voxelizadas (elementos tridimensionales).Estas estructuras permiten aplicar algoritmos de aprendizaje profundo, como los mapas autoorganizados, para aislar patologías y apoyar decisiones de intervención. Los resultados confirman que los problemas fueron correctamente identificados en el mapa autoorganizado, mostrando la efectividad de esta metodología para el estudio de patologías y otros fenómenos en edificaciones.