This work reviews the bibliometric indicators of a rapidly developing field of research as automatic text processing (Natural language processing). The differential indicators of speed and acceleration were used to evaluate the development dynamics of NLP domains. The evaluation was based on the data from the Science direct bibliometric database. The evaluation of the Russian research segment was conducted according to e-library data. The calculations for the following subdomains of NLP were performed: Grammar Checking, Information Extraction, Text Categorization, Dialog Systems, Speech Recognition, Machine Translation, Information Retrieval, Question Answering, Opinion Mining, Smart advisors and others. The areas with high growth rates (Grammar Checking, Information Extraction, Machine Translation and Question Answering) and the areas that have lost the previously existing dynamics of growth of the publication activity (Information Retrieval, Opinion Mining, Text Categorization) have been identified.

Одной из труднорешаемых задач в области интеллектуального анализа данных является разработка универсального инструментария для анализа текстов художественного и делового стиля. Популярным направлением развития алгоритмов обработки корпусов текстовых документов является использование методов машинного обучения, которые позволяют решать задачи обработки естественных языков. Основанием для проведения исследований в этой области являются такие факторы, как специфика структуры текстов художественного и делового стиля (что требует формирования отдельных наборов данных и, в случае использования методов машинного обучения, – дополнительных параметров при обучении), а также отсутствие укомплектованных систем массовой обработки корпусов текстовых документов для русского языка (в отношении научного сообщества в коммерческой среде существуют системы меньших масштабов, решающие узкоспециализированные задачи, например, определение тональности текста). Целью текущего исследования является проектирование и последующая разработка структуры системы обработки корпусов текстовых документов. При проектировании учитывались требования, предъявляемые к широкомасштабным системам: модульность, возможность масштабирования компонентов и их условная независимость. Проектируемая система представляет собой совокупность компонентов, каждый из которых сформирован и используется в виде Docker-контейнеров. Уровни системы: обработка данных, хранение данных, визуализация и управление результатами обработки данных. На уровне обработки данных выполняется сбор (скраппинг) текстовых документов (например, новостных событий) и их дальнейшая обработка с помощью ансамбля методов машинного обучения, каждый из которых реализован в системе как отдельная Airflow-задача. Полученные результаты помещаются для хранения в реляционную базу данных, а для увеличения быстродействия поиска по данным (более 1 млн. единиц) используется инструмент ElasticSearch. Визуализация статистики, полученной в результате работы алгоритмов, осуществляется с использованием плагина Plotly. Администрирование и просмотр обработанных текстов доступны через веб-интерфейс с использованием фреймворка Django. Общая схема взаимодействия компонентов организована по принципу ETL (extract, transform, load). В настоящее время система используется для анализа корпусов новостных текстов с целью сравнительного анализа параметров текстов и средств массовой информации в целом. В перспективе планируется усовершенствование системы и опубликование компонентов в открытом репозитории GitHub для доступа научного сообщества.

The article discusses the methods that ensure the detection of destructive messages in the Internet environment. It is shown that to detect them the approaches based on the analysis of the syntactic patterns; analysis of semantic information included in the text, and correlating it with the text corpus; crowd sourcing methods; identification of the patterns of user behavior in social networks; the consideration of the additional information etc., were applied. Good results can be achieved under certain conditions: an access to traffic social networks and other online news resources, opportunities to organize or to get results from crowd sourcing, etc., when there are the restrictions on these conditions the detection of destructive messages can be performed based on indirect signs. The results of the detection of destructive news in the corpus of news reports in Russian, posted on the websites of the Republic of Kazakhstan are shown.

This paper presents the study of the author’s style of A.S. Pushkin based on the comparison of his poetic texts with the texts of contemporary poets. The purpose of this study is to determine the features of the author’s style of A.S. Pushkin using machine learning methods. This paper describes the construction of several classifications based on different groups of features, as well as the classification based on a combined set of features from different groups. The quality of all constructed classifications is also analyzed; special attention is paid to the interpretation of the neural network solution and the identification of features of the author’s style.

One of the approaches to quantitative text analysis is to represent a given text in the form of a time series, which can be followed by an information entropy study for different text representations, such as “symbolic entropy”, “phonetic entropy” and “emotional entropy” of various orders. Studying authors’ styles based on such entropic characteristics of their works seems to be a promising area in the field of information analysis. In this work, the calculations of entropy values of the first, second and third order for the corpus of poems by A.S. Pushkin and other poets from the Golden Age of Russian Poetry were carried out. The values of “symbolic entropy”, “phonetic entropy” and “emotional entropy” and their mathematical expectations and variances were calculated for given corpora using the software application that automatically extracts statistical information, which is potentially applicable to tasks that identify features of the author’s style. The statistical data extracted could become the basis of the stylometric classification of authors by entropy characteristics.