Currently, road surface conditions ahead of autonomous vehicles are not well detected by the existing sensors on those autonomous vehicles. However, driving safety should be ensured for the weather-induced road conditions for day and night. An investigation into deep learning to recognize the road surface conditions in the day is conducted using the collected data from an embedded camera on the front of the vehicles. Deep learning models have only been proven to be successful in the day, but they have not been assessed for night conditions to date. The objective of this work is to propose deep learning models to detect on-line road surface conditions caused by weather ahead of the autonomous vehicles at night with a high accuracy. For this study, different deep learning models, namely traditional CNN, SqueezeNet, VGG, ResNet, and DenseNet models, are applied with performance comparison. Considering the current limitation of existing night-time detection, reflection features of different road surfaces are investigated in this paper. According to the features, night-time databases are collected with and without ambient illumination. These databases are collected from several public videos in order to make the selected models more applicable to more scenes. In addition, selected models are trained based on a collected database. Finally, in the validation, the accuracy of these models to classify dry, wet, and snowy road surface conditions at night can be up to 94%.
29 June 2022 in Journal of Sensors and Sensor Systems
The driving safety of autonomous vehicles will strongly depend on their ability to recognize road surface conditions such as dry, wet, snowy and icy road. Currently, the existing investigations to detect road surface conditions still have limitations in daytime and nighttime conditions. The objective of this paper is to propose and develop a new system with three near-infrared (NIR) LED sources. This choice is based on the advantages of LED sources over laser diodes. They are less sensitive to temperature and have lower costs. Considering these advantages, the feasibility of the LED system to recognize road surface conditions is investigated. For this, the appropriate wavelengths of the LED tri-wavelength source are first computed from experimental data taking into account the specific LED spectral shape. In addition, the effect of the spectral bandwidth of the LED sources on the system performance is theoretically studied. Finally, the NIR LED system with the LED sources at 970, 1450 and 1550 nm is experimentally tested and validated with an incident angle from 78.7 to 86.2∘. According to the results of the experiments, the accuracy of the classification of snow, wet and water can reach 97 %, while the accuracy of the dry and wet road surface conditions is respectively 73 % and 68 %.
Détection de l'état de surface de la route pour un véhicule autonome par un système NIR LED et des approches d'apprentissage automatique: Le domaine des véhicules autonomes a suscité un grand intérêt ces dernières années. Afin de garantir au passager une expérience sûre et confortable sur les véhicules autonomes, des systèmes d'obstacles avancés doivent être mis en œuvre. Bien que les solutions actuelles de détection d'obstacles aient montré de bonnes performances, elles doivent être encore améliorées pour une sécurité accrue des véhicules autonomes sur route, de jour comme de nuit. En particulier, les véhicules autonomes dans la vie réelle peuvent rencontrer de la glace, de la neige ou des flaques d'eau, qui peuvent être la cause de collisions graves et d'accidents de la circulation. Les systèmes de détection doivent donc permettre de détecter les changements d'état de la route pour anticiper la réaction du véhicule et/ou désactiver les fonctions automatisées. L'objectif de cette thèse est de proposer un système pour les véhicules autonomes afin de détecter les conditions de chaussée induites par la météo. Après une étude approfondie de l'état de l'art, un système proche infrarouge (NIR) basé sur des LED et un système d'apprentissage automatique sont proposés pour la détection diurne et nocturne. Le système NIR a été conçu puis validé expérimentalement et, les spécifications techniques du système ont été définies. Le système d'apprentissage automatique est de plus proposé comme solution complémentaire au système NIR. Différents modèles d'apprentissage ont été testés et comparés en termes de performance. Enfin, les résultats sont discutés et une combinaison des deux systèmes est proposée afin de garantir une performance accrue pour la reconnaissance des conditions de route.