Medical acts, such as imaging, lead to the production of several medical text report that describes the relevant findings. This induces multimodality in patient data by linking image data to free-text and consequently, multimodal data have become central to drive research and improve diagnosis. However, the exploitation of patient data is challenging as the ecosystem of analysis tools is fragmented depending on the type of data (images, text, genetics), the task (processing, exploration) and domains of interest (clinical phenotype, histology). To address the challenges, we present IMPatienT ( I ntegrated digital M ultimodal PATIEN t da T a), a simple, flexible and open-source web application to digitize, process and explore multimodal patient data. IMPatienT has a modular architecture to: (i) create a standard vocabulary for a domain, (ii) digitize and process free-text data, (iii) annotate images and perform image segmentation, and (iv) generate a visualization dashboard and perform diagnosis suggestions. We showcased IMPatienT on a corpus of 40 simulated muscle biopsy reports of congenital myopathy patients. As IMPatienT relies on a user-designed vocabulary, it can be adapted to any domain of research and can be used as a patient registry for exploratory data analysis (EDA). A demo instance of the application is available at https://impatient.lbgi.fr/ .
La croissance exponentielle des données générées par le séquençage, l'imagerie et les dossiers médicaux électroniques met en évidence le besoin d'outils pour l'exploitation des données biomédicales multimodales. L’objectif de ma thèse est de développer des méthodes basées sur l’intelligence artificielle pour explorer les données de patients atteints de myopathies congénitales, une famille de maladies génétiques rares et difficiles à diagnostiquer. Dans un premier temps, j’ai développé IMPatienT (Integrated digital Multimodal PATIENt daTa), une application web permettant d'annoter et d'explorer les rapports et les images histologiques des patients dont la base de données a été analysée par IA explicable (xAI). Ensuite, j’ai développé NLMyo (Natural Language Myopathies), un outil basé sur les modèles linguistiques de grande taille comme GPT-3.5 et LLaMA. NLMyo permet d’anonymiser et d’extraire de l’information de comptes rendus médicaux, de faire de l’aide au diagnostic et de créer un moteur de recherche de patients. Enfin, j’ai développé MyoQuant, un outil utilisant des modèles d’IA pour quantifier automatiquement des marqueurs pathologiques dans les biopsies de fibres musculaires. IMPatient, NLMyo et MyoQuant sont disponibles de manière open-source et en version de démonstration en ligne.