In recent years, the use of digital twins (DT) to improve maintenance procedures has increased in various industrial sectors (e.g., manufacturing, energy industry, aerospace) but is more limited in the construction industry. However, the operation and maintenance (O&M) phase of a building’s life cycle is the most expensive. Smart buildings already use BIM (Building Information Modeling) for facility management, but they lack the predictive capabilities of DT. On the other hand, the use of extended reality (XR) technologies to improve maintenance operations has been a major topic of academic research in recent years, both through data display and remote collaboration. In this context, this paper focuses on reviewing projects using a combination of these technologies to improve maintenance operations in smart buildings. This review uses a combination of at least three of the terms “Digital Twin”, “Maintenance”, “BIM” and “Extended Reality”. Results show how a BIM can be used to create a DT and how this DT use combined with XR technologies can improve maintenance operations in a smart building. This paper also highlights the challenges for the correct implementation of a BIM-based DT combined with XR devices. An example of use is also proposed using a diagram of the possible interactions between the user, the DT and the application framework during maintenance operations.

In the Architecture, Engineering and Construction (AEC) sector, data extracted from building information modelling (BIM) can be used to create a digital twin (DT). The algorithms of a BIM-based DT can facilitate the retrieval of information, which can then be used to improve building operation and maintenance procedures. However, with the increased complexity and automation of the building, maintenance operations are likely to become more complex and may require expert intervention. Collaboration and interaction between the operator and the expert may be limited as the latter may not be on site or within the company. Recently, extended reality (XR) technologies have proven to be effective in improving collaboration during maintenance operations, through data display and shared interactions. This paper presents a new collaborative solution using these technologies to enhance collaboration during remote maintenance operations. The proposed approach consists of a mixed reality (MR) set-up for the operator, a virtual reality (VR) set-up for the remote expert and a shared Digital Model of a heat exchanger. The MR set-up is used for tracking and displaying specific information, provided by the VR module. A user study was carried out to compare the efficiency of our solution with a standard audio-video collaboration. Our approach demonstrated substantial enhancements in collaborative inspection, resulting in a significative reduction in both the overall completion time of the inspection and the frequency of errors committed by the operators

Les avancées technologiques de l’Industrie 4.0 ont ouvert la voie à la mise en place de nouvelles méthodologies et technologies, notamment les jumeaux numériques (DT) et les outils de réalité étendue (XR). Bien que ces innovations soient déjà largement exploitées dans la maintenance industrielle, leur potentiel reste à démontrer dans le secteur de la construction. Elles promettent d’aider à la prise de décision en donnant accès à des informations spécifiques, via la XR, lors d’opérations de maintenance et en permettant des simulations de comportement grâce au DT. Cependant, la complexité croissante des installations, associée à l’impératif de recourir à une expertise externe lors des opérations de maintenance, appelle à repenser les méthodes d’assistance à distance, en particulier à la lumière des préoccupations environnementales et sanitaires. Pour répondre à ces enjeux, nos travaux de recherche basés sur un état de l’art approfondi de la littérature scientifique et technologique, se concentrent sur l’exploitation de ces technologies pour améliorer les procédures de maintenance. Tout d’abord, une revue de littérature a permis d’évaluer comment les outils XR et les jumeaux numériques peuvent enrichir les informations utilisées lors des opérations de maintenance. Cette analyse souligne l’intérêt de tirer parti des données du BIM (Building Information Modeling) pour créer un jumeau numérique, ainsi que les améliorations apportées à la visualisation de ces données par les outils XR. De plus, une étude des solutions de collaboration existantes a révélé les exigences et les contraintes inhérentes au travail collaboratif entre un opérateur sur le terrain et un expert distant, telles que la nécessité d’un environnement de travail commun et les difficultés de synchronisation des échanges. Dans une deuxième phase de notre recherche, en nous appuyant sur ces constats, nous avons développé une architecture permettant d’améliorer la collaboration lors des inspections entre un opérateur sur site et un expert à distance, en utilisant les capacités de visualisation des outils XR et les données du jumeau numérique de l’installation. Cette démarche a abouti à la création de la solution DT-RAMCoRE, permettant le partage d’informations via la manipulation indirecte du jumeau numérique de l’installation par la méthode RAMCoRE. Conscients de la diversité des dispositifs XR et de l’évolution rapide de la technologie, nous avons conçu cette solution avec l’objectif d’assurer sa pérennité et son interopérabilité entre les différents supports disponibles, grâce à la norme OpenXR. En analysant une étude de cas, nous avons démontré que l’utilisation de la solution DT-RAMCoRE lors d’une inspection collaborative permet à l’opérateur de comprendre plus rapidement les informations transmises par un expert par rapport à une approche classique basée sur un appel vidéo, tout en réduisant les erreurs liées à l’identification des composants de l’installation. En conclusion, nous formulons des recommandations pour optimiser les informations fournies aux acteurs de la collaboration. Enfin, nous avons développé un concept de simulation, composant du DT, permettant de fournir à l’opérateur sur le terrain et l’expert à distance des outils d’analyses avancées facilitant le travail d’inspection. En perspectives à ces travaux, nous présentons une méthodologie pour exploiter les modèles de simulation du DT via les outils de XR.