The increasing integration of the Internet of Things (IoT) into daily life has led to significant changes in our social interactions. The advent of innovative IoT solutions, combined with the enhanced capabilities and expanded reach of 5G wireless networks, is altering the way humans interact with machines. Notably, the advancement of edge computing, underpinned by 5G networks within IoT frameworks, has markedly extended human sensory perception and interaction. A key biometric within these IoT applications is electroencephalography (EEG), recognized for its sensitivity, cost-effectiveness, and distinctiveness. Traditionally linked to brain–computer interface (BCI) applications, EEG is now finding applications in a wider array of fields, from neuroscience research to the emerging area of neuromarketing. The primary aim of this article is to offer a comprehensive review of the current challenges and future directions in EEG data acquisition, processing, and classification, with a particular focus on the increasing reliance on data-driven methods in the realm of 5G wireless network-supported EEG-enabled IoT solutions. Additionally, the article presents a case study on EEG-based emotion recognition, exemplifying EEG’s role as a biometric tool in the IoT domain, propelled by 5G technology.

This paper addresses the limitations of relying solely on facial expressions for emotion recognition by proposing an advanced approach that emphasizes continuous monitoring of electroencephalography (EEG) signals. Recognizing the potential for deception in facial expressions, our study leverages the growing interest in EEG signals, tapping into advancements in deep learning and machine learning. By optimizing the configuration of EEG electrodes, our approach enhances the accuracy of emotion classification systems, offering a streamlined solution. The proposed multi-input system refines EEG-based emotion recognition efficiency and integrates facial expression analysis to enhance overall system effectiveness. Through the application of brain heat map topographies and facial expression recognition, our system, employing just nine electrodes, outperforms basic emotion recognition setups. Experimental results validate that combining facial expression analysis with EEG signals provides a more comprehensive and accurate understanding of human emotions. This innovative approach holds significance across various sectors, including healthcare, psychology, and human–computer interaction. The paper introduces a novel multi-input system approach, collaboratively fusing two powerful deep learning algorithms: two Convolutional Neural Networks (CNNs). The proposed EEG-based CNN algorithm achieves an efficiency of 87.43%, rising to 91.21% when integrated with the DeepFace CNN. The seamless integration of facial expressions and brain topographies enables the system to efficiently harness abundant information from both modalities, ensuring a thorough comprehension of human emotions. By capitalizing on the combined advantages of analyzing facial expressions and EEG-derived brain topography, this avant-garde technique substantially improves both precision and efficiency in emotion recognition systems. This enhancement establishes a foundation for the introduction of innovative applications across a spectrum of fields.

Emotion recognition is a vital part of human functioning. textcolorredIt enables individuals to respond suitably to environmental events and develop self-awareness. The fast-paced developments in brain–computer interfacing (BCI) technology necessitate that intelligent machines of the future be able to digitize and recognize human emotions. To achieve this, both humans and machines have relied on facial expressions, in addition to other visual cues. While facial expressions are effective in recognizing emotions, they can be artificially replicated and require constant monitoring. In recent years, the use of Electroencephalography (EEG) signals has become a popular method for emotion recognition, thanks to advances in deep learning and machine learning techniques. EEG-based systems for recognizing emotions involve measuring electrical activity in the brain of a subject who is exposed to emotional stimuli such as images, sounds, or videos. Machine learning algorithms are then used to extract features from the electrical activity data that correspond to specific emotional states. The quality of the extracted EEG signal is crucial, as it affects the overall complexity of the system and the accuracy of the machine learning algorithm. This article presents an approach to improve the accuracy of EEG-based emotion recognition systems while reducing their complexity. The approach involves optimizing the number of EEG channels, their placement on the human scalp, and the target frequency band of the measured signal to maximize the difference between high and low arousal levels. The optimization method, called the simplicial homology global optimization (SHGO), is used for this purpose. Experimental results demonstrate that a six-electrode configuration optimally placed can achieve a better level of accuracy than a 14-electrode configuration, resulting in an over 60% reduction in complexity in terms of the number of electrodes. This method demonstrates promising results in improving the efficiency and accuracy of EEG-based emotion recognition systems, which could have implications for various fields, including healthcare, psychology, and human–computer interfacing.

Approche Hybride Basée sur l'IA, par fusion EEG-Expression Faciale pour l'Interaction Humain-Machine: La reconnaissance des émotions par électroencéphalogramme (EEG) est un domaine de recherche qui explore l'utilisation des signaux cérébraux pour identifier les émotions d'une personne. Ceci peut être réalisé en décodant les modèles EEG associés aux émotions ou en utilisant l’apprentissage automatique pour discerner les modèles dans les enregistrements EEG. Cette technologie trouve des applications dans la réalité virtuelle, les jeux interactifs, le divertissement, le bien-être mental, l'évaluation psychiatrique, le conseil et la thérapie. De plus, la reconnaissance des émotions par EEG est prometteuse pour la détection automatisée et la reconnaissance en temps réel des états émotionnels. Il informe également les interfaces sensibles aux émotions et divers systèmes informatiques affectifs, ce qui en fait un élément essentiel des interactions humaines.En parallèle, les méthodes de vision par ordinateur pour la reconnaissance automatique des émotions ont suscité une attention considérable. L’une des approches les plus importantes consiste à traiter les signaux EEG multicanaux. Cependant, les signaux EEG sont considérés comme une « boîte noire » en raison d’une compréhension limitée de leur génération et de leur signification. Bien que l’EEG soit largement utilisé pour les diagnostics médicaux, de nombreuses incertitudes subsistent quant à son fonctionnement interne et à ses implications.Cette thèse présente un nouveau modèle convivial pour la reconnaissance des émotions qui utilise comme entrée des cartes cérébrales dérivées de canaux EEG optimisés. Les cartes cérébrales représentent des caractéristiques spatiales extraites des signaux EEG, et le modèle mathématique proposé est basé sur les échelles de couleurs des cartes thermiques cérébrales. Ce modèle offre une flexibilité pour appliquer diverses techniques d'optimisation.L'optimisation globale d'homologie simplifiée (SHGO) est choisie comme technique d'optimisation globale en raison de son efficacité dans la gestion des défis présentés par les signaux EEG, qui dépendent de l'activité neurologique d'un individu. Les cartes thermiques cérébrales, affichant l’activité cérébrale du bleu (minimale) au rouge (élevée), jouent un rôle déterminant dans ce contexte, construites sur la base de différentes caractéristiques EEG et plages de fréquences.Le modèle est formé et testé sur l'ensemble de données DEAP et une base de données auto-collectée avec différentes classifications d'émotions. Les signaux EEG biométriques humains sont précieux dans les systèmes d’interface cerveau-ordinateur (BCI), couvrant des applications allant des neurosciences au neuromarketing. Ce travail vise à numériser les émotions humaines, en imitant l’empathie des machines. Une expérience de validation de principe consiste à capturer des signaux EEG avec un casque EMOTIV EPOC, à générer des cartes thermiques d'intensité 2D pour des stimuli émotionnels prédéfinis et à utiliser un réseau neuronal artificiel (ANN) pour la classification.La contribution clé réside dans l'exploitation d'outils de reconnaissance d'images matures dans les systèmes ANN et de réseaux neuronaux convolutifs (CNN) pour reconnaître les émotions en adaptant la carte d'intensité 2D de l'activité cérébrale EEG. Un système multimodal améliore l’efficacité globale. Le CNN d'EEG de valence, formé et validé sur une base de données de 16 participants, a atteint une précision de 87,43 % en tant que système autonome, qui a augmenté à 91,21 % lorsqu'il est combiné avec le CNN d'expressions faciales.En résumé, la reconnaissance des émotions par EEG et les modèles basés sur les cartes cérébrales ont le potentiel de révolutionner la reconnaissance des émotions et l'interaction homme-machine, avec des applications allant du divertissement aux soins de santé.