Demiryolu güvenliğinin sağlanması, dinamik ortamlarda doğru ve gerçek zamanlı nesne tespiti gerektiren kritik bir mühendislik problemidir. Bu çalışmada, demiryolu izleme süreçlerini iyileştirmek amacıyla derin öğrenme tabanlı nesne tespiti modelleri geliştirilmiş ve RailSem19 veri seti kullanılarak YOLOv8, YOLOv9, YOLOv11 ve Faster R-CNN modelleri eğitilerek entegre edilmiştir. Ayrıca, nesnelerin mesafe ölçümlerinin hassasiyetini artırmak için ZED stereo kamerası kullanılmıştır. Deneysel bulgular, YOLOv9 modelinin doğruluk ve işlem verimliliği açısından en iyi dengeyi sağladığını ortaya koymakta olup, bu modelin ortalama doğruluk (mAP50) değeri %52,14 olarak hesaplanmış ve çıkarım süresi optimize edilmiştir. Önerilen yöntem, otonom demiryolu sistemleri ve güvenlik izleme uygulamaları için önemli bir potansiyel taşımaktadır. Gelecekteki çalışmalar, veri artırma teknikleri, yapay zekâ destekli yorumlanabilirlik ve çoklu sensör füzyonu ile modelin dayanıklılığını artırmaya odaklanacaktır.

Reliable real-time sensing in complex scenes is crucial for safe and autonomous operation in intelligent rail systems. This study proposes a multi-task and depth-aware sensing system that combines semantic segmentation, object detection, and stereo-based depth estimation for railway environments. The proposed system uses YOLOv8–YOLOv12 object detection models and UNet, DeepLabV3+, FPN, and PSPNet-based segmentation architectures. All learning-based segmentation and detection models were trained on the RailSem19 dataset. Experimental results showed that YOLOv9 and YOLOv11 provided stable performance in object detection, while DeepLabV3+ achieved better results in semantic segmentation. To improve system performance, two multi-task fusion approaches were investigated. The first is a segmentation-based geometric inference approach. The second is a dual-stream fusion architecture combining DeepLabV3+ and YOLOv11. The results showed that the dual-stream structure provides higher accuracy and better spatial consistency in railway scenes with occlusions, complex infrastructure, and moving objects. With the ZED2 stereo camera, 2D detection is supported by 3D spatial analysis. An accuracy of ±0.35 m is achieved in tasks such as rail intrusion detection and distance-dependent risk assessment. Overall, the proposed multimodal detection architecture offers a robust and viable solution for railway safety and autonomous monitoring applications.