The regular and consistent monitoring of marine ecosystems and fish communities is becoming more and more crucial due to increasing human pressures. To this end, underwater camera technology has become a major tool to collect an important amount of marine data. As the size of the data collected outgrew the ability to process it, new means of automatic processing have been explored. Convolutional neural networks (CNNs) have been the most popular method for automatic underwater video analysis for the last few years. However, such algorithms are rather image-based and do not exploit the potential of video data. In this paper, we propose a method of coupling video tracking and CNN image analysis to perform a robust and accurate fish classification on deep sea videos and improve automatic classification accuracy. Our method fused CNNs and tracking methods, allowing us to detect 12% more individuals compared to CNN alone.
Environmental DNA (eDNA) metabarcoding is an innovative tool that is transforming ecological research. It offers a simple and effective method for simultaneously detecting numerous species across a wide range of environments. The method relies on assigning DNA sequences sampled from the environment to taxa, which is straightforward for species that have already been sequenced and are represented in reference databases. However, existing bioinformatics tools often fail to deliver accurate, fine-grained assignments when target species are absent from these databases. This limitation arises from handcrafted classification thresholds that do not account for nucleotide positional information. Here, we propose a deep neural architecture specifically designed to exploit both nucleotide identity and positional patterns in short TELEO sequences. Using an in-silico validation framework based on NCBI genbank sequences, we compare our approach with several state-of-the-art bioinformatics tools (Obitools, Kraken2, Lolo), as well as alternative sequence embedding methods, under controlled conditions. Our approach yields significantly higher classification accuracy at the genus and family levels, achieving average accuracies of 94.7% at the genus level and 86.5% at the family level, substantially outperforming the tested reference-based pipelines. The method remains robust with limited training data and shows improved performance when nucleotide positional information is preserved through sequence alignment. These results demonstrate the potential of AI-powered eDNA metabarcoding to complement existing taxonomic assignment tools, particularly in contexts where reference databases are incomplete or species-level resolution is not achievable, thereby supporting biodiversity monitoring and ecosystem management.
Les récifs coralliens soutiennent une forte biodiversité en poissons (environ 7000 espèces) qui est la source de plusieurs services écosystémiques comme l’apport en protéines via la pêche, la régulation des flux de matière mais aussi le support d’activités récréatives comme la plongée. Cependant, ces poissons subissent des pressions croissantes comme la surexploitation par la pêche et la destruction du corail par réchauffement climatique. Dans ce contexte, un des enjeux majeurs de l’écologie marine est d’estimer précisément la biodiversité, l’abondance et la biomasse de ces poissons récifaux et ce, avec une fréquence temporelle permettant de détecter les modifications liées aux changements environne-mentaux, aux pressions anthropiques et aux stratégies de gestion (e.g. réserves marines). Jusqu’à récemment, le recensement des poissons récifaux s’effectuait principalement en plongée au cours desquelles l’observateur identifiait toutes les espèces visibles et estimait leurs abondances (nombre d’individus). Ce protocole induit des limites comme la durée et la profondeur des plongées ainsi que des erreurs ou des biais liés à l’expérience du plongeur qui ne sont pas quantifiables ou corrigibles a posteriori. Face à ces limitations, les récents développements technologiques dans la prise de vidéos sous-marines en haute définition à moindre coût offrent des protocoles beaucoup moins contraignants. Cependant, il n’existe à l’heure actuelle aucun moyen rapide et fiable d’analyser ces quantités de données ce qui empêche l’essor de ces suivis vidéos à grande échelle. Au cours de cette thèse, nous avons mis en place des algorithmes d’identification et de localisation automatiques de poissons dans des vidéos sous-marines. L’ensemble du processus fut abordé, depuis les campagnes terrain permettant de récolter les vidéos à l’annotation de ces données afin de les rendre exploitables par des algorithmes d’apprentissage profond (ou Deep Learning), à la conception des modèles, au test de ces modèles et au traitement des sorties des différents modèles. Nous avons ainsi récolté plus de 380.000 images appartenant à plus de 300 espèces de poissons récifaux. Nous avons développé des méthodes d’identification précises (94% de bonnes classifications) pour 20 espèces parmi les plus présentes sur les récifs coralliens autour de Mayotte, ainsi que des méthodes de post-traitement permettant de détecter et de supprimer les erreurs commises par le modèle (diminuant ainsi le taux d’erreur jusqu’à 2%). Nous avons aussi développé un algorithme de détection permettant de localiser plus de 84% des individus présents à l’image sur une vidéo.