Despite advances in automated testing, manual testing remains prevalent due to the high maintenance demands associated with test script fragility—scripts often break with minor changes in application structure. Recent developments in Large Language Models (LLMs) offer a potential alternative by powering Autonomous Web Agents (AWAs) that can autonomously interact with applications. These agents may serve as Autonomous Test Agents (ATAs), potentially reducing the need for maintenance-heavy automated scripts by utilising natural language instructions similar to those used by human testers. This paper investigates the feasibility of adapting AWAs for natural language test case execution and how to evaluate them. We contribute with (1) a benchmark of three offline web applications, and a suite of 113 manual test cases, split between passing and failing cases, to evaluate and compare ATAs performance, (2) SeeAct-ATA and pinATA, two open-source ATA implementations capable of executing test steps, verifying assertions and giving verdicts, and (3) comparative experiments using our benchmark that quantifies our ATAs effectiveness. Finally we also proceed to a qualitative evaluation to identify the limitations of PinATA, our best performing implementation. Our findings reveal that our simple implementation, SeeAct-ATA, does not perform well compared to our more advanced PinATA implementation when executing test cases (50% performance improvement). However, while PinATA obtains around 60% of correct verdict and up to a promising 94% specificity, we identify several limitations that need to be addressed to develop more resilient and reliable ATAs, paving the way for robust, low maintenance test automation.

Major transportation surveillance protocols have not been specified with cyber security in mind and therefore provide no encryption nor identification. These issues expose air and sea transport to false data injection attacks (FDIAs), in which an attacker modifies, blocks or emits fake surveillance messages to dupe controllers and surveillance systems. There has been growing interest in conducting research on machine learning-based anomaly detection systems that address these new threats. However, significant amounts of data are needed to achieve meaningful results with this type of model. Raw, genuine data can be obtained from existing databases but need to be preprocessed before being fed to a model. Acquiring anomalous data is another challenge: such data is much too scarce for both the Automatic Dependent Surveillance–Broadcast (ADS-B) and the Automatic Identification System (AIS). Crafting anomalous data by hand, which has been the sole method applied to date, is hardly suitable for broad detection model testing. This paper proposes an approach built upon existing libraries and ideas that offers ML researchers the necessary tools to facilitate the access and processing of genuine data as well as to automatically generate synthetic anomalous surveillance data to constitute broad, elaborated test datasets. We demonstrate the usability of the approach by discussing work in progress that includes the reproduction of related work, creation of relevant datasets and design of advanced anomaly detection models for both domains of application.

Despite advances in automated testing, manual testing remains prevalent due to the high maintenance demands associated with test script fragility-scripts often break with minor changes in application structure. Recent developments in Large Language Models (LLMs) offer a potential alternative by powering Autonomous Web Agents (AWAs) that can autonomously interact with applications. These agents may serve as Autonomous Test Agents (ATAs), potentially reducing the need for maintenance-heavy automated scripts by utilising natural language instructions similar to those used by human testers. This paper investigates the feasibility of adapting AWAs for natural language test case execution and how to evaluate them. We contribute with (1) a benchmark of three offline web applications, and a suite of 113 manual test cases, split between passing and failing cases, to evaluate and compare ATAs performance, (2) SeeAct-ATA and pinATA, two open-source ATA implementations capable of executing test steps, verifying assertions and giving verdicts, and (3) comparative experiments using our benchmark that quantifies our ATAs effectiveness. Finally we also proceed to a qualitative evaluation to identify the limitations of PinATA, our best performing implementation. Our findings reveal that our simple implementation, SeeAct-ATA, does not perform well compared to our more advanced PinATA implementation when executing test cases (50% performance improvement). However, while PinATA obtains around 60% of correct verdict and up to a promising 94% specificity, we identify several limitations that need to be addressed to develop more resilient and reliable ATAs, paving the way for robust, low maintenance test automation. CCS Concepts: • Software and its engineering → Software testing and debugging.

Détection d'anomalies contextuelles dans les données de transport aérien à l'aide de réseaux de neurones: Pour faire face au nombre sans cesse croissant d'avions volant dans l'espace aérien mondial, le contrôle du trafic aérien (ATC pour Air Traffic Control) doit s'adapter et proposer de nouvelles technologies à la fois moins coûteuses à produire et plus précises, parfois au détriment de la cybersécurité de ses systèmes. Le protocole ADS-B (Automatic Dependent Surveillance-Broadcast) est l'une des dernières avancées obligatoires en matière de surveillance aérienne et illustre parfaitement cette tendance : moins cher à entretenir et à mettre en œuvre grâce à des transpondeurs peu coûteux installés dans chaque avion et diffusant leurs informations GPS, mais bien plus vulnérable que les technologies plus anciennes. Ceci est dû au changement de paradigme que l'ADS-B incarne. Les anciennes technologies, comme les radars primaires et secondaires, surveillaient le ciel à l'aide de puissantes antennes pour suivre les vols dans une zone donnée, alors qu'avec l'ADS-B, les radars ne scrutent pas l'air mais reçoivent directement les informations envoyées par chaque avion. Pour cette raison, et du fait de l'absence de cryptage et d'authentification dans le protocole, celui-ci est particulièrement vulnérable aux attaques par injection de fausses données (FDIA pour False Data Injection Attack). Les FDIA sont des messages créés, modifiés ou supprimés par des personnes malveillantes dans le but de perturber la gestion du trafic.Pour limiter ces menaces, différentes solutions ont été proposées en utilisant à la fois la couche physique (analyse de la force des signaux, multilatération...) et la couche logique (fusion de données, vérification de groupe), y compris des modèles d'apprentissage automatique. Les principales motivations de ces derniers sont les sources de données récentes et les outils disponibles pour obtenir des enregistrements de suivi de vol. Ceci a permis aux chercheurs de créer des jeux de données et de développer des modèles de Machine Learning capables de détecter des anomalies dans les trajectoires En-Route. Dans ce contexte, nous proposons un nouveau modèle multivarié de détection d'anomalies appelé Contextual Auto-Encoder (CAE). Il utilise la base d'un auto-encodeur LSTM ordinaire mais avec plusieurs décodeurs, chacun recevant des données d'une phase de vol spécifique (par exemple, montée, croisière ou descente) pendant son apprentissage. Pour illustrer l'efficacité du CAE, un ensemble de données d'évaluation a été créé en utilisant des anomalies réelles ainsi que des modifications de trajectoire réalisées de manière réaliste, avec lesquelles le CAE, ainsi que trois modèles de détection d'anomalies de la littérature, ont été évalués.Pour compléter ce travail, et pour montrer la généricité de notre approche, des expériences sur le domaine maritime sont présentées à la fin de cette thèse. Ce choix a été motivé par le fait que le système d'identification automatique ou AIS est un protocole similaire à l'ADS-B avec des problématiques similaires mais pour des navires. Ces nouvelles expériences ont conduit à une extension du modèle original en utilisant un score d'affinité pour fusionner les contextes entre eux.

Accurate fuel consumption estimation is crucial for efficient aviation operations and fuel management. However, limited access to detailed traffic and aircraft performance data leads researchers to rely on open data sources for estimation, introducing uncertainties due to several assumptions. In this paper, we propose an uncertainty assessment of fuel-flow calculation using open data. By analysing real-time flight data obtained from the Opensky-Network, comprising different aircraft types, we examine several commonly used hypothesis impacting fuel consumption. Variables such as flight altitude, airspeed, weight or motorisation are found to all contribute to variations in fuel consumption. Our goal is to perform a sensitivity analysis to show the degree of impact of these variables on the final fuel consumption. This study highlights the significance of open data for refining fuel-flow estimation methodologies and provides researchers with a valuable resource seeking to improve fuel consumption calculations and develop more accurate models.