1 November 2017 in Information and Control Systems
SRSaint-Petersburg Institute for Informatics and Automation of the RAS
Saint-Petersburg Institute for Informatics and Automation of the RAS
SISaint-Petersburg State University of Aerospace Instrumentation
Saint-Petersburg State University of Aerospace Instrumentation
23 December 2025 in Scientific and Technical Journal of Information Technologies, Mechanics and Optics
A trending task of automatic psycho-emotional human state detection was studied in this work. A scientific interest to researches devoted to the automatic multimodal depression detection can arise out of the widespread of anxiety-depressive disorders and difficulties of their detection in primary health care. A specificity of the task was caused by its complexity, lack of data, imbalance of classes and inaccuracies in it. Comparative researches show that classification results on semi-automatic annotated data are higher than ones on automatic-annotated data. The proposed approach for depression detection combines a semi-automatic data annotation and deterministic machine learning methods with the utilization of several feature sets. To build our models, we utilized the multimodal Extended Distress Analysis Interview Corpus (E-DAIC) which consists of audio recordings, automatically extracted from these audio recordings texts and video feature sets extracted from video recordings as well as annotation including Patient Health Questionnaire (PHQ-8) scale for each recording. A semi-automatic annotation makes it possible to get the exact time stamps and speech texts to reduce the noisiness in the training data. In the proposed approach we use several feature sets, extracted from each modality (acoustic expert feature set eGeMAPS and neural acoustic feature set DenseNet, visual expert feature set OpenFace and text feature set Word2Vec). A complex processing of these features minimizes the effect of class imbalance in the data on classification results. Experimental researches with the use of mostly expert features (DenseNet, OpenFace, Word2Vec) and deterministic machine learning classification methods (Catboost) which have the property of interpretability of classification results yielded the experimental results on the E-DAIC corpus which are comparable with the existing ones in the field (68.0 % and 64.3 % for Weighted F1-measure (WF1) and Unweighted Average Recall (UAR) accordingly). The usage of a semi-automatic annotation approach and modalities fusion improved both quality of annotation and depression detection comparing to the unimodal approaches. More balanced classification results are achieved. The usage of deterministic machine learning classification methods based on decision trees allows us to provide an interpretability analysis of the classification results in the future due to their interpretability feature. Other methods of results interpretation like SHapley Additive exPlanations (SHAP) and Local Interpretable Model-agnostic Explanations (LIME) also can be used for this purpose.
17 September 2018 in Science Bulletin of the Novosibirsk State Technical University
S(St. Petersburg Institute for Informatics and Automation of the Russian Academy of Sciences (SPIIRAS)
St. Petersburg Institute for Informatics and Automation of the Russian Academy of Sciences (SPIIRAS)
1 January 2022 in Вестник ВГУ. Серия: Системный анализ и информационные технологии
В последние годы все более актуальной становится тема определения деструктивного поведения людей в сети Интернет для обеспечения их психологического комфорта. Деструктивное поведение является разрушительным поведением, а агрессия в европейской культуре представлена как мотивированное деструктивное поведение, которое может быть направлено как вовне, так и на себя, а также противоречит общепринятым социальным нормам. Данная работа рассматривает агрессию как паралингвистические явление, то есть, то, как агрессия проявляется в речи, а не то, что именно человек говорит. В статье представлены понятие и виды агрессии, приведен краткий анализ существующих работ. Представлена формальная постановка мультиклассовой задачи классификации и описание предложенного метода определения агрессии в речи. Были проведены представлены экспериментальные исследования методов классификации для автоматического определения агрессии, где лучшим оказался метод случайного леса, поскольку с его помощью удалось получить наилучшие и наиболее стабильные результаты. На основе полученных экспериментальных исследований был разработан предлагаемый метод определения агрессии в разговорной речи. Были использованы многомодальные корпуса Stress at Service Desk Dataset и Aggression in Trains, из которых были извлечены аудио дорожки для обучения и тестирования моделей с использованием 5-кратной перекрестной валидации. Предложенный метод представляет собой ансамбль из методов случайного леса, обученных на различных наборах акустических признаков с различными весами. Лучший результат, полученный с использованием предложенного метода равен 76,5 % по показателю невзвешенной средней полноты, и является одним из лучших среди аналогичных методов определения агрессии в разговорной...