Arnab Dey

Arnab Dey

Auto-generated profile, based on publicly available information

Arnab Dey

I3S-CNRS/Universite Cote d’Azur, France

Research Focus & Metrics

Academic Career Length

2Years (2025-Present)

(Calculated once Scilit publication data is synced: current year − year of first publication + 1)

Representative Publications

View All Publications
16 December 2025 in IEEE Transactions on Artificial Intelligence
Verified
Journal Article
Closed access
ADArnab Dey
Arnab Dey
CLCheng-You Lu
Cheng-You Lu
ACAndrew I. Comport
Andrew I. Comport
SSSrinath Sridhar
Srinath Sridhar
CLChin-Teng Lin
Chin-Teng Lin
JMJean Martinet
Jean Martinet
Recent advancements in radiance field rendering show promising results in 3D scene representation, where Gaussian splatting-based techniques emerge as state-of-the-art due to their quality and efficiency. Gaussian splatting is widely used for various applications, including 3D human representation. However, previous 3D Gaussian splatting methods can not render RGB and human features simultaneously. Furthermore, these methods either use parametric body models as additional information or fail to provide any underlying structure, like human biomechanical features, which are essential for various applications such as medical diagnosis. In this paper, we present a novel approach called HFGaussian that can estimate novel views and human features, such as the 3D skeleton, 3D key points, and dense pose, from sparse input images simultaneously in real time at 25 FPS. The proposed method leverages the generalizable Gaussian splatting technique to represent the human subject and 3D consistent human features, enabling efficient and generalizable reconstruction. By incorporating a pose regression network and the feature splatting technique with Gaussian splatting, HFGaussian demonstrates improved capabilities over existing 3D human methods, showcasing the potential of 3D human representations with integrated biomechanics. We thoroughly evaluate our HFGaussian method against the latest state-of-the-art techniques in human Gaussian splatting methods, demonstrating its real-time, state-of-the-art performance. Project page: https://github.com/arnabdeypolimi/HFGaussian_official.

8 April 2026
Verified
Thesis
Closed access
ADArnab Dey
Arnab Dey
Rendu neuronal pour la représentation humaine en 3D avec des caractéristiques biomécaniques: La représentation numérique des scènes réel en général, et des personnes en particulier, est depuis longtemps un domaine de recherche important en raison de ses applications variées. Les avatars humains réalistes sont essentiels pour les applications en diagnostic médical, de réalité augmentée/virtuelle (AR/VR) et dans l'industrie du divertissement. Ces avatars doivent représenter avec précision la géométrie humaine ainsi que la texture en accord avec les propriétés biomécaniques des humains. Cette thèse présente des techniques innovantes pour générer efficacement et de manière réalistes des avatars humains capturant à la fois les caractéristiques visuelles externes et les propriétés biomécaniques sous-jacentes et ce en utilisant des techniques de rendu neuronal.Les techniques de rendu neuronal, notamment avec l'introduction des champs de radiance neuronaux (NeRF) et de la technique d'éclaboussures de gaussiennes (Gaussian Splatting), ont récemment montré un grand potentiel pour générer des représentations photoréalistes de scènes 3D à partir de prises de vues multiples. Le rendu neuronal est devenu un choix attractif pour la communauté de la reconstruction 3D, non seulement en raison de sa qualité photoréaliste impressionnante, mais aussi en raison de sa simplicité, ce qui en a fait un choix populaire pour les techniques de reconstruction humaine 3D ainsi que pour la représentation de scènes. Cependant, les premières méthodes NeRF ont souvent eu du mal à estimer une géométrie 3D précise pour les humains et manquaient de propriétés supplémentaires telles que les caractéristiques structurelles humaines et les informations de pose. En s'appuyant sur les avantages des techniques de rendu neuronal, cette thèse propose de nouvelles approches pour surmonter les limitations actuelles, permettant la génération d'avatars humains 3D précis avec des propriétés biomécaniques en temps réel.Tout d'abord, nous abordons les problèmes plus généraux de la géométrie inexacte des NeRF et du temps d'entraînement long en proposant Mip-NeRF RGB-D, une approche novatrice qui exploite les informations de profondeur pour réduire le temps d'entraînement et améliorer la géométrie, améliorant ainsi la performance des techniques basées sur les NeRF. Ensuite, nous nous concentrons sur les problèmes concernant la représentation humaine basée sur les NeRF et introduisons GHNeRF, une méthode conçue pour apprendre les emplacements des articulations 2D et 3D des sujets humains en utilisant le cadre NeRF. GHNeRF utilise des encodeurs d'images 2D pré-entraînés pour extraire les caractéristiques humaines essentielles des images 2D, qui sont ensuite intégrées dans le cadre des NeRF pour estimer les propriétés biomécaniques cruciales. Enfin, nous proposons HFGaussian, une technique pour générer des avatars humains virtuels avec des poses 3D et des caractéristiques biomécaniques en temps réel en utilisant une méthode de Gaussian Splatting. HFGaussian utilise des encodeurs d'images pour extraire les caractéristiques humaines pertinentes et un réseau d'estimation de pose 3D pour prédire la pose 3D. Les méthodes proposées ont montré des améliorations significatives en termes d'estimation des propriétés photométriques, géométriques et biomécaniques grâce aux techniques de rendu neuronal.Les techniques présentées dans cette thèse visent à permettre le développement d'avatars humains réalistes, afin de rendre l'expérience utilisateur la plus immersives et la plus naturelle naturelles possible en environnement virtuel. De plus, ces méthodes ont un potentiel substantiel dans différents domaines tels que les applications médicales, y compris à des fins de diagnostique, la planification chirurgicale, l'éducation des patients et l'analyse biomécanique.