30 June 2021 in Eastern-European Journal of Enterprise Technologies
This paper suggests a method to search for an incoming object in order to identify its unambiguously, based on the integration of information spaces into intermediate unified information space. At the same time, the incoming object identification process involves appropriate attributes. This paper describes the process of information object arrangement within a unified information space that forms for a set of dynamically changing objects. It should be noted that each subject in the set collects information about the environment, including interaction with other objects. In the process of forming a unified information space, the information system collects information from data sources that are represented in different formats. The system then converts this information and forms a unified information space, thereby providing users with information about objects. A two-tier system of connections at the global (cloud) and local (fog) levels of interactions has been considered. At the same time, it should be noted that a unified information space formation requires the implementation of tools to support the transformation of information objects; that necessitates the implementation of translators ‒ special converters at different levels. A method to combine information spaces into an intermediate unified information space has been proposed; analysis was performed to determine the time and efficiency of the search for incoming objects within it. It was experimentally established that the more parameters that describe an information object, the less the time to identify an object depends on the length of the interval. It has also been experimentally shown that the efficiency of finding incoming objects tends to be a directly proportional dependence while reducing the length of the interval and increasing the number of parameters, and vice versa
6 November 2016 in Power Technology and Engineering
29 September 2023 in Computer Systems and Information Technologies
Метою даної роботи є порівняння існуючих методів формування спектрального фільтра Блума з використанням хеш-функцій та запропонованого методу з використанням простих чисел. Запропонований метод дозволяє отримати знімки з документів, які можна використовувати для підтримки узгодженості даних в розподілених документоорієнтованих NoSQL базах даних як частину механізму Active Anti-Entropy. Узгодженість даних є важливою та складною задачею через необхідність горизонтального масштабування інформаційних систем. Нехтування цим може призводити до матеріальних або навіть людських втрат, оскільки цифровізація охоплює абсолютно всі сфери діяльності людини і є необхідність у розподіленій обробці та зберіганні інформації. Консистентність може забезпечуватись різними шляхами, серед яких архітектурний підхід та Active Anti-Entropy механізми. Під архітектурним підходом мається на увазі централізовані операції запису, які розповсюджуються до другорядних вузлів. Відповідно операції читання відбуваються з другорядних вузлів. Даний підхід не є гнучким, оскільки вимагає стабільного та швидкого зв’язку з центральним вузлом, що не завжди можливо. Active Anti-Entropy механізм представляє собою фоновий процес, який перевіряє узгодженість даних між вузлами використовуючи спеціальні знімки, які можуть бути отримані з використанням хеш-функцій або такої структури даних як Merkle Tree. Використання останнього ідеально підходить для перевірки узгодженості цілих наборів даних, але для критично важливих даних це рішення не підходить. Ймовірність колізій або обчислювальні витрати можуть призводити до неузгодженості цілого набору даних і це вимагає спеціального рішення для критично важливих даних. Запропонований метод дозволяє швидше отримувати спектральний фільтр Блума з вихідного набору даних. Окрім цього, він має вищу колізійну стійкість в порівнянні з використанням хеш-функцій, що дозволяє швидше ідентифікувати неузгодженість документів, які зберігаються на різних вузлах.
6 September 2024 in Municipal economy of cities
In distributed databases, network traffic is a critical factor that affects system performance and efficiency. The article develops a new method for minimising network traffic in the RAFT-like Consensus Algorithm. The result of using this method is a reduction in network traffic and query execution time in a distributed database. The authors demonstrate its practical application with the example of an online student gradebook system developed with Laravel using a MySQL relational database. The developed network traffic optimisation method relies on the preliminary exchange of key vectors and cardinalities between nodes. Such an approach reduces the amount of data transferred by avoiding duplication and transmitting only the necessary data. Applying this method increases system efficiency and lowers network load, which is particularly important for distributed databases with high traffic volumes. The data materialisation process after query execution allows for storing query results on the nodes that initiate these queries. It ensures quick access to already obtained data when performing similar queries in the future, reducing their execution time and improving system performance. Materialisation also helps to reduce the number of repeated data processing, decreasing the system load and enhancing the overall efficiency of the distributed database. One of the main advantages of this method is its simplicity of implementation and ability to significantly reduce network traffic, particularly in systems containing a small number of infrequent changes. Compared to existing methods, such as the Semi-Join Query Optimisation method, this method shows advantages in systems with small and infrequent changes. A significant feature of the new method is its ability to provide high data consistency in a distributed system. The use of key vector exchange allows for more efficient data synchronisation between nodes, lowering the likelihood of conflicts and ensuring the relevance of data across the entire system. It is essential for systems requiring high reliability and data accuracy. Due to its simplicity of implementation and high efficiency, this method is a promising solution for improving the performance of distributed systems in various fields. Keywords: distributed databases, RAFT, network traffic, cardinalities, Big Data, IoT.
29 June 2023 in Herald of Khmelnytskyi National University. Technical sciences
NINational Technical University of Ukraine “Igor Sikorsky Kyiv Polytechnic Institute”
National Technical University of Ukraine “Igor Sikorsky Kyiv Polytechnic Institute”
23 September 2025 in INFORMATION TECHNOLOGY AND SOCIETY
Метою даної роботи є удосконалення методу Reciprocal Rank Fusion (RRF) для підвищення точності об’єднання результатів гібридного пошуку в інформаційних системах, що використовують векторні бази даних. Гібридний пошук передбачає інтеграцію результатів, отриманих за допомогою різних стратегій пошуку – лексичних, семантичних, візуальних тощо. Однак традиційна формула RRF не враховує ступінь релевантності документів, що може призводити до ситуацій, коли низько релевантні результати однієї пошукової стратегії впливають на високо релевантні результати іншої. У результаті відбувається зміщення бажаного порядку документів у фінальному списку результатів.Методологія дослідження ґрунтується на аналізі оцінок релевантності, отриманих у процесі лексичного та семантичного пошуку. Запропоновано підхід до класифікації результатів за групами релевантності на основі поетапної деградації початкового запиту. Далі запропоновано модифіковану формулу RRF, в якій ранги документів коригуються з урахуванням групи релевантності через експоненціальну функцію. Це дозволяє зменшити вплив результатів, що мають низьку релевантність, на документи з високою відповідністю. Для експериментальної перевірки було використано датасет MS MARCO, що містить реальні пошукові запити й ручні оцінки релевантності.Порівняння класичного та модифікованого RRF здійснювалося за метрикою MRR@10.Наукова новизна роботи полягає у використанні динамічного, контекстно-залежного підходу до формування груп релевантності без необхідності в повторних зверненнях до бази даних чи індексації даних. Запропоноване рішення обмежується лише текстом запиту, що забезпечує його ефективність і не вимагає відносно великих обчислювальних витрат. На відміну від існуючих модифікацій RRF, запропонований підхід дозволяє гнучко адаптувати ваги ранжування на основі семантичного та лексичного динамічного аналізу.Висновки дослідження підтверджують, що запропонована модифікація методу RRF покращує позицію релевантного документа у результатах гібридного пошуку. Модифікований метод демонструє вищу метрику MRR@10 (0.1880 проти 0.1718 у класичному RRF), що свідчить про зменшення негативного впливу нерелевантних результатів.