Synthèse de l’interaction multimodale homme-robot socialement intelligente: En observant les humains, on peut en déduire directement qu'aucune interaction sociale n'a lieu sans indices, verbaux ou non verbaux, qui permettent aux autres d'interpréter les comportements et d'estimer raisonnablement les intentions. Ces signaux sociaux puissants et ces comportements non verbaux sont complexes et multimodaux, ce qui signifie qu'ils sont constitués de différentes combinaisons de modalités et d'indices comme les gestes, le comportement du regard et la proxémie (par exemple, la gestion de l'espace et de l'environnement). Ainsi, pour qu'un robot soit perçu comme un agent socialement intelligent par les humains, il doit être capable de maintenir une interaction sociale réussie, de s'adapter à l'environnement social et d'afficher un comportement multimodal approprié. Cette thèse étudie d'abord comment l'une de ces modalités peut aider à en adapter une autre, puis explore les effets des modalités lorsqu'elles sont exécutées de manière multimodale sur les résultats d'interaction comportementale et la perception de l'intelligence sociale du robot, et enfin présente une architecture utilisant l'apprentissage par renforcement pour le robot. apprendre à combiner ses comportements multimodaux avec une fonction de récompense basée sur les signaux sociaux multimodaux de l'humain dans une interaction. Les modalités sont couplées dans la nature et pour s'adapter aux changements de l'environnement, il peut être nécessaire de s'appuyer sur d'autres modalités sensorielles. Par exemple, dans le premier travail, le robot adaptait de manière autonome son schéma de regard aux changements d'interaction sociale, c'est-à-dire aux groupes qui se formaient autour de lui, en fonction de sa proxémie, qui servait à estimer les rôles des participants aux formations de groupe autour du robot, telles que en tant qu'orateur actif, spectateur ou auditeur. Une étude pilote s'est penchée sur des formations de groupe composées d'un robot et de deux utilisateurs. Les résultats ont montré que les participants se tenaient plus près du robot adaptatif et l'avaient classé plus haut en termes d'adaptabilité perçue et de sociabilité perçue, ainsi que de sentiment d'être pris en charge par le robot par rapport à un robot qui changeait son attention en fonction d'une nouvelle détection sensorielle. Dans le deuxième travail, les comportements multimodaux constitués de mécanismes du regard que sont le tour de rôle, le tour de parole, le maintien au sol et l'attention conjointe, les gestes sociaux qui sont les gestes emblème, déictique et de battement, la proxémie, à travers les la navigation et le dialogue social ont été mis en œuvre de manière autonome et étudiés en extrayant une modalité dans chaque condition et en examinant les résultats comportementaux et les mesures subjectives. La collecte de données comprenait 105 participants dans une interaction de sept minutes seul avec le robot pour étudier les résultats comportementaux, y compris, mais sans s'y limiter, les distances des utilisateurs, le temps de parole, les salutations effectuées, ainsi que les canaux de retour. L'étude a montré dans quelle mesure chaque modalité du comportement multimodal permet au robot d'influencer la proximité des humains, la façon dont ils s'adressent au robot, s'ils acceptent ou non ses suggestions, et comment ils saluent et mettent fin à l'interaction en se reflétant. comportements non verbaux du robot. Enfin et après avoir plongé dans une revue de l'apprentissage par renforcement pour l'adaptation en robotique sociale présentée dans la thèse, le dernier travail se penche sur les signaux sociaux multimodaux de l'humain, y compris les distances, le temps passé à chercher et à décider, ainsi que les décisions prises, pour formuler le signal de récompense, qui comprend également des fonctions de coût pour la complexité du comportement multimodal effectué par le robot et si l'humain a suivi ou non la recommandation du robot. Cette fonction de récompense a ensuite