Autonomous Vehicles (AVs) are expected to take safe and efficient decisions. Hence, AVs need to be robust to real-world situations and especially to cope with open world setting i.e. the ability to handle novelties such as unseen objects. Classical object detection models are trained to recognize a predefined set of classes but struggle to generalize well to novel classes at inference stage. Open-Set Object Detection (OSOD) aims to address the challenge of correctly detecting objects from unknown classes. However, autonomous driving systems possess specific open-set characteristics that are not yet covered by OSOD methods. Indeed, a detection error could lead to catastrophic events, emphasizing the importance of prioritizing the quality of box detection over quantity. Also, the specific characteristics of objects encountered in road scenes could be leveraged to improve their detection in the open-world setting. In this vein, we introduce a new definition of objects of interest for autonomous driving perception, enabling the proposition of an AV specialized open-set object detector coined ADOS. The proposed model uses a new score, learnt with the background ground truth of the semantic segmentation. This On Road Object score measures whether the object is on drivable areas, enhancing the selection of unknown detection. Experimental evaluations are conducted on simulated and real world datasets and reveal that our method outperforms the baseline approaches in unknown object detection settings with the same detection performance on known objects as the closed-set object detector.

The 3D reconstruction of underwater scenes from overlapping images requires modeling the sensor. While underwater self-calibration gives good results when coupled with multi-view algorithms, calibration or pre-calibration with a pattern is still necessary when scenes are weakly textured or if there are not enough points of view of the same points; however, detecting patterns on underwater images or obtaining a good distribution of these patterns on a dataset is not an easy task. Thus, we propose a methodology to guide the acquisition of a relevant underwater calibration dataset. This process is intended to provide feedback in near real-time to the operator to guide the acquisition and stop it when a sufficient number of relevant calibration images have been reached. To perform this, pattern detection must be optimized both in time and success rate. We propose three variations of optimized detection algorithms, each of which takes into account different hardware capabilities. We present the results obtained on a homemade database composed of 60,000 images taken both in pools and at sea.

Détection d’objets inconnus en monde ouvert pour les systèmes de conduite autonome: Les systèmes de véhicules autonomes (VA) accomplissent principalement deux tâches : la perception et le contrôle. Le système de perception construit une représentation du monde réel, communément appelée World Model, sur laquelle le système de contrôle s’appuie pour prendre des décisions de conduite. L’efficacité du système de contrôle est étroitement liée à la précision et à l’exhaustivité des informations fournies par le World Model. Par exemple, l’incapacité à détecter des objets critiques sur la route peut entraîner de grave conséquences, tandis des erreurs de détection peuvent nuire à l’expérience utilisateur. Les écarts entre l’environnement réel et la représentation interne du VA sont connus sous le nom de cas limites. Parmi ceux-ci, les objets inconnus, appartenant à des classes non rencontrées lors de l’entraînement, représentent un type de cas limite particulièrement difficile. Les World Model contemporains reposent principalement sur l’apprentissage profond, utilisant de vastes ensembles de données annotées pour apprendre des représentations des classes d’objets connues. La détection d’objets, élément central de la chaîne de perception, vise à fournir à la fois la localisation et l’information sémantique des objets présents dans la scène. Cependant, les détecteurs modernes affichent de faibles performances sur les cas limites, comme le démontrent des benchmarks en conditions réelles tels que CODA. Cette limitation provient de leur hypothèse de monde fermé : ils sont entraînés sur un nombre fixe de classes et peinent à généraliser à de nouveaux objets jamais vus auparavant. Pour y remédier, la reconnaissance en monde ouvert et la détection d’objets en monde ouvert ont été proposées. Ces paradigmes introduisent des mécanismes permettant de détecter des objets inconnus tout en facilitant l’apprentissage incrémental de nouvelles classes. Néanmoins, l’application de la détection en monde ouvert dans le contexte des VA présente des défis spécifiques qui demeurent encore insuffisamment traités. La plupart des approches existantes sont évaluées sur des jeux de données généralistes tels que COCO, qui ne reflètent pas adéquatement la complexité et l’importance en matière de sécurité des scènes routières. Les méthodes actuelles souffrent souvent de taux élevés de faux positifs ou dégradent les performances sur les classes connues lorsqu’elles optimisent la détection d’objets inconnus. Cette thèse de doctorat vise à combler ces lacunes en faisant progresser les systèmes de détection d’objets pour les scénarios de conduite autonome, avec un accent particulier sur la détection robuste des objets inconnus. L’objectif est d’améliorer la capacité des VA à gérer les cas limites dans des environnements réels, contribuant ainsi à des systèmes de conduite autonome plus sûrs et plus fiables.