Spherical cameras and the latest image processing techniques open up new horizons. In particular, methods based on Convolutional Neural Networks (CNNs) now give excellent results for optical flow estimation on perspective images. However, these approaches are highly dependent on their architectures and training datasets. This paper proposes to benefit from years of improvement in perspective images optical flow estimation and to apply it to omnidirectional ones without training on new datasets. Our network, OmniFlowNet, is built on a CNN specialized in perspective images. Its convolution operation is adapted to be consistent with the equirectangular projection. Tested on spherical datasets created with Blender ¹ 1https://www.blender.org and several equirectangular videos realized from real indoor and outdoor scenes, OmniFlowNet shows better performance than its original network without extra training.

Omnidirectional images have drawn great research attention recently thanks to their great potential and performance in various computer vision tasks. However, processing such a type of image requires an adaptation to take into account spherical distortions. Therefore, it is not trivial to directly extend the conventional convolutional neural networks on omnidirectional images because CNNs were initially developed for perspective images. In this paper, we present a general method to adapt perspective convolutional networks to equirectangular images, forming a novel distortion-aware convolution. Our proposed solution can be regarded as a replacement for the existing convolutional network without requiring any additional training cost. To verify the generalization of our method, we conduct an analysis on three basic vision tasks, i.e., semantic segmentation, optical flow, and monocular depth. The experiments on both virtual and real outdoor scenarios show our adapted spherical models consistently outperform their counterparts.

Modèles d'apprentissage profond adaptés aux images omnidirectionnelles : de la perception à la navigation: Les caméras omnidirectionnelles sont de plus en plus répandues en vision par ordinateur et robotique. En effet, grâce à leur champ de vision à 360 degrés, elles permettent d'acquérir en une seule prise de vue une scène complète. De plus, la diminution du cout et du poids des dernières caméras sphériques facilite leur intégration dans de nombreuses applications mobiles.Cependant, ces images présentent toujours des distorsions importantes en raison de la projection sphérique, comme dans les régions polaires des images équirectangulaires. Par conséquent, les approches traditionnelles de traitement d'image sont souvent incapables de reconnaitre les formes des objets, entrainant ainsi une mauvaise compréhension de la scène observée. Plusieurs méthodes ont donc été proposées pour prendre en compte ces distorsions et nécessitent le plus souvent un apprentissage supervisé basé sur des images omnidirectionnelles. Cependant, les ensembles de données sphériques sont rares et généralement limités à des applications très spécifiques. A l'inverse, ceux regroupant des images perspectives offrent une grande diversité et polyvalence.Dans cette thèse, nous proposons d'adapter des modèles entrainés avec des images perspectives et de les appliquer directement sur des données omnidirectionnelles en évitant tout apprentissage supplémentaire. Notre adaptation repose sur la prise en compte des distorsions sphériques lors des opérations de convolution par le biais de projections perspectives locales sur la sphère. La solution proposée est facile et rapide d'utilisation.Afin de démontrer la pertinence et la généralisation de notre méthode à tout réseau convolutionnel, nous l'appliquons à trois tâches de vision par ordinateur couramment utilisées : l'estimation de la segmentation sémantique, de la profondeur et du flot optique. Testée à la fois avec des données virtuelles et des scénarios réels, les réseaux adaptés sont toujours plus performants que ceux de référence.À la suite de ces résultats en vision par ordinateur, nous nous sommes penchés sur leur utilisation en robotique. La perception est une fonction cruciale de la chaine de navigation, notamment pour éviter les obstacles dans le cadre de la navigation de drones dans des environnements complexes, denses et non structurés tels que les forêts. Cependant, la plupart des algorithmes actuels sont limités par un champ de vision perspectif.Nous proposons donc ici une solution utilisant un champ de vision omnidirectionnel et la comparons à celle basée sur des images perspectives. Dans tous les scénarios testés, les images équirectangulaires permettent une navigation plus rapide et sure, y compris dans des situations plus complexes que celles rencontrées lors de l'apprentissage. En outre, la prise en compte des distorsions telle que proposée en première partie améliore également les performances de vol.